M*: Sistema universal y eficiente para modelos multimodales
Descubre M*, el sistema de serving que reduce la latencia hasta un 20% en modelos multimodales, superando a vLLM-Omni. Ideal para arquitecturas compuestas de IA.
#optimización de latencia
INFRAMIND: Orquestación multiagente consciente de la infraestructura
Descubre INFRAMIND, un framework que optimiza la orquestación multiagente en clusters GPU compartidos, reduciendo latencias hasta 7x y manteniendo un 99.9% de cumplimiento SLO.
Predicción rápida y expresiva de múltiples bytes con circuitos probabilísticos
Descubre cómo MTPC acelera LLMs con circuitos probabilísticos, logrando rapidez y expresividad sin pérdida de calidad.
ViBE: Co-optimizando desviación de carga y variabilidad de hardware para MoE
ViBE reduce el desequilibrio en la ejecución de MoE hasta un 45% en P90 TTFT, mejorando el cumplimiento de SLO en un 14%. Optimiza colocación de expertos según rendimiento GPU.