Photo by Daniel Seßler on Unsplash Recientemente la principal utilidad de las respuestas en streaming es la interacción con modelos de lenguaje, ya que mejora notablemente la experiencia en interfaces de chat. Ahora es posible transmitir una respuesta desde funciones Lambda mediante el API REST Gateway de AWS, un avance importante porque anteriormente la transmisión desde AWS Lambda funcionaba de forma limitada y solo era viable mediante Function URL, lo que no cubría todos los casos de uso.

Objetivo En este artículo explico cómo crear una función AWS Lambda que llame a un modelo de AWS Bedrock y retransmita la respuesta al cliente. Empleo Rust para mantener la función pequeña, rápida y económica, y defino la infraestructura con AWS CDK para un despliegue reproducible y seguro. Esta aproximación encaja con proyectos de aplicaciones a medida y software a medida que requieren bajo tiempo de respuesta y escalabilidad.

Arquitectura y función Lambda En el ejemplo se utiliza la libreria rig.rs como framework de IA y se construye un agente que llama a Amazon Nova Micro con parámetros como preamble y temperatura. La función principal arranca el runtime tokio, configura el cliente Bedrock y crea el agente. El manejador de la Lambda recibe una petición API Gateway, extrae un prompt en formato JSON y crea un canal con transmisor y receptor para gestionar la transmisión de datos de manera asíncrona.

Flujo de streaming La libreria devuelve un stream de elementos tipados MultiTurnStreamItem que pueden ser elementos de asistente, de usuario o la respuesta final. Al recibir StreamAssistantItem con contenido de texto, la Lambda envía fragmentos al cliente a través del transmisor. Para mantener la ejecución abierta mientras llegan fragmentos del modelo se lanza una tarea tokio independiente que consume el stream usando next de futures y reenvía datos parciales con send_data. Si el cliente se desconecta o ocurre un error, la tarea detecta el fallo y cierra la transmisión.

Traducción del stream a formato API Gateway El paso clave es convertir los fragmentos que entrega el SDK en paquetes que la REST API Gateway acepta como body streaming. En Rust se devuelve al final el receptor rx envuelto en Response para que API Gateway lo sirva de forma progresiva al cliente. Esta técnica permite renderizado gradual de texto en la interfaz de usuario, ideal para agentes IA y chatbots con respuestas de baja latencia.

Infraestructura con AWS CDK La configuración del REST API Gateway es similar a la integración tradicional con Lambda, con la diferencia de ajustar responseTransferMode a STREAM. El ejemplo de CDK añade permisos bedrock InvokeModel e InvokeModelWithResponseStream a la función, crea el endpoint prompt y asocia la integración Lambda con modo STREAM. Esto permite que las funciones serverless ofrezcan streaming nativo para modelos generativos sin recurrir a arquitecturas adicionales.

Pruebas y rendimiento Para probar la solución se puede usar curl y observar cómo la respuesta se va mostrando de forma incremental. Usando Rust los tiempos de arranque en frío se mantienen bajos, con inicializaciones alrededor de 100 ms en muchos casos, lo que resulta beneficioso para soluciones en producción que demandan eficiencia y costes controlados.

Aplicaciones y ventajas prácticas Este patrón es perfecto para proyectos de software a medida que integran agentes IA, asistentes conversacionales y sistemas de automatización de procesos. Empresas que necesitan servicios cloud aws y azure, inteligencia de negocio o integración con Power BI pueden beneficiarse de respuestas en streaming para mejorar la experiencia de usuario y la percepción de latencia. Q2BSTUDIO como empresa de desarrollo de software y aplicaciones a medida ofrece experiencia en estos escenarios: diseñamos soluciones de inteligencia artificial para empresas y desplegamos infraestructuras seguras y escalables.

Sobre Q2BSTUDIO Q2BSTUDIO es una empresa de desarrollo de software especializada en aplicaciones a medida, inteligencia artificial, ciberseguridad y servicios cloud. Ofrecemos desde desarrollo de software a medida hasta consultoria en servicios de inteligencia de negocio y despliegues en la nube. Si buscas implementar agentes IA o potenciar tus flujos con IA para empresas podemos ayudarte con integración y buenas prácticas en producción. Conoce nuestros servicios de inteligencia artificial visitando servicios de inteligencia artificial y para soluciones cloud revisa nuestras ofertas en servicios cloud AWS y Azure.

Palabras clave aplicaciones a medida software a medida inteligencia artificial ciberseguridad servicios cloud aws y azure servicios inteligencia de negocio ia para empresas agentes IA power bi

Resumen Hoy la REST API Gateway puede transmitir respuestas desde funciones Lambda, facilitando el uso de infraestructuras serverless para ofrecer salidas de modelos LLM en tiempo real. La combinación de Rust, AWS Bedrock y CDK permite construir agentes IA eficientes y controlados, alineados con proyectos de desarrollo a medida y necesidades de negocio en inteligencia de datos y ciberseguridad.