Propósito Este documento recoge modos de falla reales y recurrentes observados en sistemas de invocación de herramientas de modelos de lenguaje grande LLM across proveedores y frameworks de agentes principales. Su objetivo es hacer explícitas y enumerables las fallas demostrar que son sistémicas y no errores de usuario mostrar por qué la validación post hoc y los reintentos son estructuralmente insuficientes y definir el espacio de problema que debe resolver una capa de contratos determinista

Observación central Hoy la llamada de herramientas falla no porque los modelos sean débiles sino porque los contratos de las herramientas son implícitos informales y solo se aplican después de la generación. Se espera que los LLM infieran la forma del esquema los tipos de parámetros nombres de herramienta reglas de secuenciación y restricciones específicas del proveedor sin que esas restricciones formen parte del modelo de ejecución. El resultado es un conjunto predecible de clases de falla

Clase de falla 1 Esquema no respetado Descripción El modelo genera una llamada a herramienta cuyo JSON no coincide con el esquema declarado Ejemplos campos requeridos ausentes campos extra inesperados anidamiento incorrecto arreglos donde se espera objeto Síntomas reales Errores de validación pydantic pérdida silenciosa de campos excepciones en tiempo de ejecución tras la generación Por qué fallan los reintentos Los reintentos vuelven a muestrear la misma distribución no restringida reducen la probabilidad pero no eliminan estados inválidos

Clase de falla 2 Tipos incompatibles Descripción El modelo emite valores con tipo incorrecto para campos válidos Ejemplos números como cadenas 42 en lugar de 42 booleanos como texto true objetos serializados como cadenas Síntomas reales fallos de deserialización coerciones silenciosas comportamientos inconsistentes entre SDKs Causa raíz Los esquemas existen solo como instrucciones y no como restricciones vinculantes durante la generación

Clase de falla 3 Deriva en el nombre de la herramienta Descripción El modelo referencia un nombre de herramienta que no coincide exactamente con el identificador declarado Ejemplos variantes en mayúsculas y minúsculas process_payment Process_Payment nombres parciales search search_docs nombres de herramienta alucinados Impacto fallo en el enrutamiento downstream no operación silenciosa bloqueos del agente difíciles de depurar

Clase de falla 4 Pérdida de visibilidad de parámetros Descripción Ciertas formas de parámetros se ignoran o se pierden en APIs o capas SDK de proveedores Ejemplos argumentos tipo dict no visibles en agentes OpenAI cargas binarias que fallan en la serialización Impacto herramientas invocadas con entradas incompletas agentes con comportamiento inconsistente entre modos sincrónico y por streaming Causa raíz Desajuste entre esquema declarado formato de transporte del proveedor y lógica de serialización del SDK

Clase de falla 5 Violaciones de secuencia Descripción El modelo produce una llamada válida en un punto inválido de la conversación Ejemplos proveedores que requieren llamada justo después de un turno de usuario llamadas de herramienta emitidas tras mensajes del asistente Síntomas errores INVALID_ARGUMENT por parte del proveedor reinicio o terminación de la conversación Por qué es fundamental Las reglas de secuenciación son específicas del proveedor y no son visibles para el modelo

Clase de falla 6 Deriva entre streaming y no streaming Descripción El mismo agente se comporta distinto en modos con y sin streaming Ejemplos llamadas a herramientas que aparecen solo en un modo formas de salida diferentes invocación final ausente Impacto comportamiento no reproducible pérdida de paridad con producción

Clase de falla 7 Colapso en cadenas multi herramienta Descripción Los agentes fallan al encadenar múltiples herramientas en un flujo de razonamiento Síntomas terminación temprana ejecución parcial estado intermedio inválido Causa raíz Cada llamada compone incertidumbre. Sin contratos la probabilidad de error crece multiplicativamente

Clase de falla 8 Corrupción inducida por contexto Descripción Las llamadas a herramientas se degradan a medida que el contexto crece o se trunca de forma heurística Ejemplos esquema de herramienta truncado emisión parcial de parámetros valores por defecto alucinados Causa raíz Desbordamiento de contexto manejado por truncamiento y no por asignación controlada

Por qué la validación y los reintentos no son la solución La validación post generación detecta estados inválidos después de que existen no puede evitar pasos intermedios inválidos ni garantizar convergencia Los reintentos reducen probabilidad aumentan coste y no cambian el espacio de estados Es equivalente a detectar errores de compilador en tiempo de ejecución

Capa que falta Todas las fallas listadas comparten una propiedad ocurren porque los contratos de herramientas no forman parte del modelo de ejecución. Un sistema determinista debe codificar esquemas tipos y secuenciación antes de la generación rechazar estados inválidos antes de la emisión y tratar las restricciones del proveedor como de primera clase Este es el espacio de problema que FACET aborda en la capa de contratos

Estado del documento Este texto define una taxonomía informativa basada en implementaciones de fallas en llamadas a herramientas destinada a apoyar diseño de adaptadores sistemas de contrato y futuros esfuerzos de estandarización Las fallas descritas son observadas reproducibles y sistémicas

Acerca de Q2BSTUDIO Q2BSTUDIO es una empresa de desarrollo de software especializada en aplicaciones a medida y software a medida que ayuda a empresas a integrar inteligencia artificial y agentes IA en sus procesos. Ofrecemos servicios de ciberseguridad y pentesting así como servicios cloud aws y azure y soluciones de inteligencia de negocio y power bi. Nuestra oferta abarca desde automatización de procesos hasta consultoría en ia para empresas y desarrollo de productos inteligentes. Con experiencia en integraciones complejas garantizamos calidad, seguridad y escalabilidad para proyectos críticos. Conoce nuestros servicios de desarrollo de aplicaciones y software a medida y descubre cómo implementamos servicios de inteligencia artificial aplicados a agentes IA, inteligencia de negocio y soluciones en la nube

Palabras clave aplicaciones a medida software a medida inteligencia artificial ciberseguridad servicios cloud aws y azure servicios inteligencia de negocio ia para empresas agentes IA power bi