El error de 117 que me hizo replantear la arquitectura

Imagina esto: un cliente solicita una cotización de envío. El agente IA calcula el precio: $1,320.56. El valor se guarda correctamente en la base de datos. Los logs del backend muestran el número correcto. Todo parece perfecto. Pero en la respuesta al cliente aparece $117.00. Eso representa un error del 91 por ciento y estuvo a un paso de causar pérdidas económicas y desconfianza. Esto ocurrió en producción y no es un caso aislado, es una característica fundamental de los modelos de lenguaje grande.

La brecha de confiabilidad

Cuando hablamos de agentes IA solemos referirnos a LLMs con acceso a herramientas. La promesa es potente: interfaces en lenguaje natural capaces de manejar lógica de negocio compleja. La realidad es que los LLMs son motores de predicción avanzados, no calculadoras ni sistemas deterministas.

Fortalezas de los LLMs: entender lenguaje natural e intención, generar respuestas contextuales y humanas, reconocer patrones y adaptarse al flujo conversacional. Debilidades: cálculos exactos y precisión numérica, cumplimiento consistente de reglas de negocio, comportamiento determinista entre llamadas, modelos de seguridad y control de acceso, toma de decisiones críticas sin supervisión.

Por ejemplo, un equipo puede implementar una función de cálculo de precio que devuelve 1320.56, almacenarla como ground truth y aún así ver al modelo producir 117.00 por error de tokenización, uso del nivel de precio incorrecto o alucinar cálculos en lugar de usar la salida de la función. Esto no se arregla solo con mejores prompts; exige soluciones arquitectónicas.

Por qué fallan los LLMs en tareas críticas

1. Procesamiento basado en tokens: los modelos tratan números como secuencias de tokens en lugar de valores matemáticos, y la tokenización puede fragmentar y afectar la generación de cifras exactamente correctas. 2. Comportamiento probabilístico: con temperatura mayor que 0 la misma entrada puede producir salidas distintas; incluso con temperatura 0 pequeñas variaciones de contexto pueden cambiar resultados. 3. Limitaciones de ventana de contexto: en conversaciones largas la información inicial pierde peso y detalles críticos pueden ser opacados por mensajes recientes. 4. Ausencia de modelo de seguridad inherente: no entienden controles como RBAC, autenticación frente a autorización, o aislamiento de datos, por lo que pueden filtrar precios mayoristas a clientes minoristas si el contexto lo sugiere. 5. Desviación de instrucciones: incluso con instrucciones claras pueden priorizar el último mensaje, interpretar mal casos límite o generar respuestas plausibles pero incorrectas.

Estrategia de defensa en múltiples capas

No confíes en el LLM para lógica crítica. Úsalo para lo que hace bien y aplica validaciones deterministas para todo lo demás. Piensa en la seguridad de un aeropuerto: múltiples puntos de control que atrapan distintos problemas.

Capa 1: Filtrado de herramientas. Determina qué herramientas puede ver cada usuario según su rol. Capa 2: Ingeniería de instrucciones. Define reglas claras en el contexto que guíen el comportamiento del LLM. Capa 3: Callbacks previos a la ejecución. Antes de invocar una herramienta pregunta si está permitido ahora mismo y en qué modalidad. Capa 4: Ejecución de herramientas. Realiza cálculos y lógica de negocio con código determinista y funciones verificables. Capa 5: Validación de salida. Tras la generación del modelo, valida que la salida coincide con el ground truth antes de mostrársela al usuario y corrige silenciosamente si es necesario.

Ejemplo práctico para atrapar el error de 117

Flujo simplificado: la capa de ejecución llama a la API de pricing y obtiene 1320.56. Ese valor se almacena en el estado de la sesión como fuente de verdad. El LLM genera la respuesta en lenguaje natural, pero antes de enviarla se ejecuta una validación que extrae las cifras mencionadas en el texto y las compara con el expected price. Si la diferencia supera una tolerancia fija, por ejemplo 2 por ciento, se anota el error en logs y se corrige automáticamente la respuesta para devolver el precio correcto. El cliente ve Total shipping cost 1320.56 y los equipos reciben alertas para investigar.

Impacto en el mundo real

Antes de implantar defensas: confiar en el LLM produce tasas de error apreciables, por ejemplo 15 a 20 por ciento en elección incorrecta de niveles de precios, 5 a 10 por ciento de números alucinados y fugas de privilegios en 3 a 5 por ciento de sesiones administrativas. Después de una arquitectura con filtrado, callbacks y validación: errores de tier 0 por ciento, números alucinados 0 por ciento en producción y fugas de privilegios 0 por ciento bloqueadas por diseño. Los falsos positivos pueden existir pero se mantienen bajos y se ajustan con monitoreo.

Ecuación de confiabilidad

La confiabilidad de un agente es la mínima entre la precisión del LLM, su capacidad de seguir instrucciones y la retención de contexto, más la cobertura y calidad de los callbacks y la cobertura y tasa de detección de la validación. Las primeras variables son impredecibles y cambian con actualizaciones de modelo y variaciones en las solicitudes. Las capas de callbacks y validación son deterministas y es ahí donde debes apostar tu negocio.

Qué sigue y cómo puede ayudar Q2BSTUDIO

Construir agentes IA confiables no se trata de hacer perfecto al modelo, sino de diseñar sistemas que entreguen resultados fiables a pesar de sus imperfecciones. En Q2BSTUDIO, empresa especializada en desarrollo de software y aplicaciones a medida, ofrecemos diseño de arquitecturas seguras para agentes IA, auditorías de confiabilidad y desarrollo de soluciones a medida que incluyen ciberseguridad y servicios cloud aws y azure. Si necesitas una implementación robusta de agentes IA para tu empresa puedes explorar nuestros servicios de servicios de inteligencia artificial y también considerar soluciones de software a medida y aplicaciones a medida para integrar validación, callbacks y trazabilidad en tu producto.

Mini auditoría rápida para tu agente

1 Si el LLM invoca la herramienta equivocada, lo detectas y lo bloqueas? Implementa before tool callbacks para enrutar y bloquear. 2 Si el LLM muestra datos incorrectos, lo detectas y lo corriges antes de que el usuario lo vea? Implementa after model callbacks con reglas de validación. 3 Puede el LLM eludir controles de acceso? Filtra las herramientas disponibles por rol y haz pruebas de penetración. 4 Validáis salidas críticas como montos financieros y decisiones legales? Empieza por lo crítico y amplía la cobertura. 5 Podéis depurar lo ocurrido con trazas estructuradas y alertas? Añade logging contextual y trazabilidad distribuida.

Conclusiones

Los modelos de lenguaje son potentes aliados para experiencia conversacional e interacción, pero no deben ser la única capa de control en operaciones críticas. Implementa múltiples capas: filtrado de herramientas, instrucciones claras, callbacks previos a la ejecución, ejecución determinista en código y validación posterior. Monitoriza constantemente y mejora las reglas con datos de producción. En Q2BSTUDIO combinamos experiencia en inteligencia artificial, ciberseguridad, servicios cloud aws y azure y business intelligence para construir agentes IA confiables que integren validación, automatización y reporting con herramientas como power bi para supervisión y análisis. Si quieres diseñar agentes IA seguros y escalables ponte en contacto y evaluamos tu caso real.