Observación, no predicción: scheduling desagregado por conversación
Conoce ConServe: programación por conversación para agentes LLM, reduce latencia 51% y mejora eficiencia energética en servidores IA.
#prefill
DuetServe: Prefill y decode en LLM con multiplexación adaptativa de GPU
DuetServe armoniza prefill y decode en LLMs con multiplexación adaptativa de GPU. Mejora el throughput 1.3x manteniendo baja latencia. Descúbrelo.