11.005 líneas eliminadas: por qué reemplazamos nuestro gestor LLM personalizado con Portkey

En Q2BSTUDIO, empresa de desarrollo de software y aplicaciones a medida especializada en inteligencia artificial, ciberseguridad y servicios cloud, acabamos de completar una migración que eliminó 11.005 líneas de código y mejoró la fiabilidad de nuestra plataforma de observabilidad basada en IA.
El reto original era sencillo en su enunciado y complejo en la práctica: nuestra plataforma necesitaba comunicarse con varios proveedores de modelos de lenguaje como OpenAI, Anthropic y modelos locales. Para controlarlo todo desarrollamos un gestor LLM personalizado que acabó convirtiéndose en una base de código enorme y costosa de mantener. Tenía clientes por proveedor, normalizadores de respuesta, enrutamiento avanzado, reintentos, limitación de tasas, circuit breakers e instrumentación de observabilidad. Mantener todo eso consumía tiempo de ingeniería que queríamos dedicar a características que realmente aportan valor a nuestros clientes.
Después de evaluar la opción de construir frente a la de comprar, integramos Portkey, una pasarela LLM lista para producción que maneja la complejidad que habíamos intentado resolver internamente. La integración fue rápida y reemplazó miles de líneas de código por un cliente ligero y mantenible. El resultado cuantitativo de la migración refleja el impacto: 112 archivos modificados, 47 archivos eliminados, 11.005 líneas borradas, 5.657 líneas añadidas y una reducción neta de 5.348 líneas.
Técnicamente, Portkey nos aportó varias ventajas prácticas. Ejecuta como un servicio Docker ligero, gestiona el ruteo entre proveedores mediante cabeceras HTTP, devuelve respuestas en un formato compatible con OpenAI de forma consistente y ofrece observabilidad incorporada, reintentos configurables, circuit breakers, caché con TTL y métricas de consumo para control de costes. Todo esto nos permitió sustituir una implementación casera compleja por una solución mantenible y probada en producción.
En métricas operativas observamos mejoras claras: latencia p95 reducida desde 450 ms a 280 ms, lo que supone una mejora aproximada del 38 por ciento; tasa de errores reducida del 2.3 por ciento al 0.8 por ciento, es decir una reducción cercana al 65 por ciento; reducción de la complejidad de pruebas en 70 por ciento; tiempo de compilación mejorado en 35 por ciento; reducción del tamaño de imagen Docker en 120 MB y eliminación de 12 dependencias npm innecesarias.
En pruebas, la simplificación permitió pasar de mocks complejos específicos por proveedor a simulaciones HTTP limpias y reproducibles, mejor integración con patrones modernos de testing y mayor estabilidad en CI. Como resultado todas las pruebas de la capa api-client que antes estaban parcialmente saltadas ahora pasan correctamente, y la cobertura es más significativa sin necesidad de mantener una gran maqueta interna del ecosistema LLM.
Las lecciones aprendidas resumen la filosofía detrás de la decisión: la infraestructura que no es diferenciadora no debe ser el centro de nuestro esfuerzo. Nuestro diferencial es ofrecer detección de anomalías basada en IA, generación inteligente de paneles y gestión autoconfigurada para clientes. El gestor LLM era fontanería; elegir una solución madura nos permitió liberar recursos para trabajar en prompts avanzados, ensambles de modelos, fine tuning orientado a dominio y streaming en tiempo real para interfaces reactivas.
Si lideras un equipo que plantea una migración similar, recomendamos el siguiente plan: identificar código no diferenciador, evaluar soluciones maduras y con adopción, prototipar la integración, migrar de forma incremental usando feature flags y medir el impacto antes y después.
En Q2BSTUDIO aprovechamos esta ganancia de productividad para enfocarnos en ofrecer servicios de software a medida y soluciones de inteligencia artificial a empresas. Si buscas desarrollar aplicaciones a medida con integración avanzada de IA visita aplicaciones a medida y software a medida. Para proyectos centrados en inteligencia artificial, agentes IA y soluciones de IA para empresas conoce nuestros servicios en Inteligencia artificial para empresas.
Además de IA, en Q2BSTUDIO ofrecemos servicios integrales que incluyen ciberseguridad y pentesting, servicios cloud AWS y Azure, inteligencia de negocio y Power BI, y automatización de procesos para maximizar el valor de los datos y la resiliencia operativa de nuestros clientes.
En conclusión, eliminar 11.005 líneas no fue solo un recorte de código; fue ganar velocidad, reducir riesgos futuros y permitir que nuestros ingenieros se centren en lo que realmente diferencia a la empresa. A veces la mejor línea de código es la que nunca llegas a escribir. Si quieres conversar sobre cómo aplicar decisiones pragmáticas similares en tu plataforma, en Q2BSTUDIO podemos ayudarte a diseñar la ruta más eficiente.
Comentarios