Esta serie en dos partes explica cómo Karrot desarrolló una nueva plataforma de funciones centrada en tres componentes principales: feature serving, una canalización de ingestión por streaming y una canalización de ingestión por batch. En esta primera entrega presentamos la motivación, los requisitos y la arquitectura de la solución con foco en el servidor de funciones y las decisiones técnicas detrás del diseño.

Motivación: las empresas que ponen modelos de machine learning en producción necesitan características fiables, actualizadas y accesibles en tiempo real. El objetivo fue garantizar baja latencia, consistencia entre entrenamiento e inferencia y capacidad de escalar con picos de tráfico. Estos retos son habituales en proyectos de aplicaciones a medida y software a medida donde la calidad de los datos impacta directamente en el resultado del negocio.

Requisitos clave: consistencia de features entre offline y online, latencias por debajo de los SLAs, gestión de versiones y retrocompatibilidad, pipelines tolerantes a fallos, observabilidad y control de costos. Además se exigió compatibilidad con servicios cloud aws y azure para facilitar despliegues híbridos y usar herramientas gestionadas cuando fuera rentable.

Arquitectura general: la plataforma se diseñó con un plano de serving que actúa como tienda online de features y una API optimizada para lecturas rápidas, un pipeline de ingestión por streaming para actualizaciones en tiempo real y un pipeline batch para reconstrucciones y backfills desde el data lake. En AWS se aprovecharon servicios gestionados para el streaming y el almacenamiento, combinando almacenamiento en memoria para lecturas críticas y bases de datos de baja latencia para consistencia.

Feature serving en detalle: el servidor de funciones es el componente que más impacto tiene en la experiencia de inferencia. Implementa un API REST/GRPC con caches locales distribuidos, control de versiones de features, metadata para descubrimiento y validaciones de freshness. Las estrategias incluyen materialización de joins en tiempo real, mecanismos de fallback para datos faltantes y auditoría que permite reconstruir el estado de un modelo en cualquier punto del tiempo. Estas prácticas son imprescindibles cuando se desarrollan soluciones con inteligencia artificial y agentes IA que requieren respuestas coherentes y reproducibles.

Por qué elegir a Q2BSTUDIO: como empresa de desarrollo de software y aplicaciones a medida ofrecemos experiencia en despliegues en la nube, diseño de pipelines de datos y soluciones de IA para empresas. Podemos ayudar a implementar plataformas de features integradas con sus sistemas y adaptadas a sus necesidades, utilizando las mejores prácticas de ciberseguridad y observabilidad. Si su proyecto requiere migración o arquitectura en la nube puede conocer nuestros servicios en servicios cloud aws y azure y si busca potenciar modelos y productos con aprendizaje automático visite nuestra página de inteligencia artificial. También ofrecemos servicios de ciberseguridad, inteligencia de negocio y power bi, automatización de procesos y desarrollo de aplicaciones a medida para cubrir todo el ciclo de vida de sus soluciones.

En la segunda parte profundizaremos en la implementación de las canalizaciones de ingestión por streaming y batch, detalles operativos y lecciones aprendidas que facilitan llevar modelos de laboratorio a producción con garantías de rendimiento y seguridad.