Propósito El Modelo de Caja de Token define un algoritmo determinista de asignación de contexto para la ejecución de modelos de lenguaje. Su objetivo es sustituir la truncación ad-hoc, la compresión heurística y el manejo por reintentos por un modelo formal y reproducible de disposición de contexto. En FACET, el contexto no es un efecto colateral de concatenar cadenas — es un artefacto compilado.

Problema Los sistemas LLM modernos fallan bajo presión de contexto porque los límites de tokens se aplican tarde, tras ensamblar el prompt; la truncación es implícita y no determinista; instrucciones críticas pueden perderse sin aviso; distintas ejecuciones eliminan distintas partes del contexto y los tokenizadores de los proveedores se comportan de forma heterogénea. Esto causa comportamiento no reproducible, dificultades de depuración, inestabilidad y fallos que solo aparecen en producción.

Idea central El contexto se trata como un contenedor de capacidad finita con un presupuesto de tokens fijo. Cada bloque lógico de datos del prompt se representa como una Sección con restricciones de diseño explícitas. El compilador debe encajar todas las secciones en el presupuesto disponible sin violar las invariantes.

Definición de Sección Cada Sección tiene las siguientes propiedades: prioridad int determina el orden de eliminación (valor menor = se elimina antes), base_size int número de tokens tras el renderizado, min int tamaño mínimo garantizado, grow float peso para expansión, shrink float peso para compresión y strategy LensPipeline estrategia de compresión.

Secciones críticas Una Sección es Crítica si shrink == 0. Las secciones críticas no pueden comprimirse, truncarse ni eliminarse. Si las secciones críticas no caben, la ejecución debe fallar.

Algoritmo determinista Dado S conjunto de secciones y B presupuesto de tokens, size[i] = base_size de la sección i. Paso 1 - Carga fija: Critical = { i | shrink[i] == 0 } FixedLoad = suma(size[i] para i en Critical). Si FixedLoad > B entonces FALLAR con ContextCriticalOverflow. Paso 2 - Espacio libre: FreeSpace = B - FixedLoad. Paso 3 - Expansión opcional: Expandable = { i | grow[i] > 0 } FreeSpace puede distribuirse proporcionalmente extra[i] = FreeSpace * (grow[i] / suma(grow)). Paso 4 - Compresión: si el tamaño total excede el presupuesto Deficit = total_size - B Flexible = { i | shrink[i] > 0 } Ordenar Flexible por prioridad ascendente y shrink descendente. Para cada sección aplicar la estrategia de compresión, recalcular size, truncar hasta min si es necesario y eliminar la sección si sigue sobredimensionada. Parar cuando Deficit <= 0.

Garantías de determinismo Con secciones idénticas, prioridades idénticas y presupuesto de tokens idéntico, la disposición resultante del contexto es idéntica byte a byte, estable en el orden y independiente del proveedor. Esto hace que el contexto sea cacheable, comparable mediante diff y reproducible en reejecuciones.

Por qué importa Sin un modelo formal de disposición: los reintentos ocultan errores, el comportamiento del prompt deriva y la pérdida de contexto es invisible. Con el Modelo de Caja de Token las fallas son explícitas, las instrucciones críticas están protegidas y el comportamiento es reproducible. Esto convierte el manejo del contexto en una disciplina de ingeniería en lugar de una colección de heurísticas.

Relación con la ejecución FACET El Modelo de Caja de Token se ejecuta en la Fase 4 - Layout. Entradas: valores variables calculados, secciones renderizadas y presupuesto de tokens. Salida: contexto finalizado y ordenado. Cualquier violación aborta la ejecución antes de interactuar con el proveedor.

Principio de diseño El contexto no es solo texto. El contexto es un recurso. El Modelo de Caja de Token hace ese recurso explícito, acotado y determinista.

Estado Este documento define el Modelo de Caja de Token normativo para FACET v2.0 y posteriores. Todas las implementaciones conformes deben seguir este algoritmo al realizar la disposición de contexto.

Sobre Q2BSTUDIO Somos Q2BSTUDIO, empresa de desarrollo de software y aplicaciones a medida especializada en inteligencia artificial, ciberseguridad y servicios cloud. Ofrecemos soluciones de software a medida, aplicaciones a medida y consultoría para llevar la inteligencia artificial a la empresa. Nuestro equipo desarrolla agentes IA, integra servicios inteligencia de negocio y crea dashboards con power bi para mejorar la toma de decisiones. También proporcionamos servicios cloud AWS y Azure y servicios de ciberseguridad y pentesting para garantizar que las soluciones son robustas y cumplidoras de normativa.

Servicios destacados Si necesita una plataforma personalizada o una aplicación empresarial podemos ayudar con desarrollo a medida y arquitecturas escalables. Conozca nuestros proyectos de inteligencia artificial y cómo adaptamos agentes IA para casos de uso específicos en servicios de inteligencia artificial. Para desarrollos multiplataforma y software a medida consulte nuestra página de aplicaciones y desarrollo en desarrollo de aplicaciones y software a medida.

Palabras clave aplicaciones a medida, software a medida, inteligencia artificial, ciberseguridad, servicios cloud aws y azure, servicios inteligencia de negocio, ia para empresas, agentes IA, power bi.