Modelos toman notas en prefill: caché KV editable y componible
Descubre cómo editar y componer la caché KV durante el prefill reduce la latencia hasta 14.9x sin perder precisión. Ideal para modelos de IA en producción.
#vllm
Re-alimentación vs reproducción: ruido en crédito contrafactual de tokens
Re-alimentar el prompt introduce ruido en crédito contrafactual, afectando selección de tokens. Estudio vLLM revela diferencias hasta 28pp.
MiniPIC: Caché flexible independiente de posición en <100 líneas
MiniPIC: solución minimalista de caché KV mejora el throughput de prefill un 49% y reduce latencia. Ideal para cargas agentivas.
DiffusionGemma de Google: genera 256 tokens en paralelo y se autocorrige
Descubre DiffusionGemma, el nuevo modelo de Google que genera texto 4x más rápido en paralelo. Ideal para inferencia local, pero con menor calidad. ¿Vale la pena?
DiffusionGemma: Guía del Desarrollador
Descubre DiffusionGemma, el modelo de texto por difusión que genera bloques de 256 tokens en paralelo. Más rápido, bidireccional y ajustable en GPUs de consumo. Ideal para desarrolladores.
De los sentidos a las decisiones: flujo auditivo-visual en MLLMs
Descubre como los modelos multimodales combinan audio y video para decisiones. Las rutas internas de informacion en AVLLMs permiten inferencia eficiente.
Colapso de alineación bajo cuantización de caché KV: diagnóstico y mitigación
Descubre cómo la cuantización de caché KV puede destruir la alineación de seguridad en LLMs y cómo PCR recupera hasta un 97% del daño en solo 35 minutos.
BlendServe: Optimización de inferencia offline con batching por recursos
¿Quieres optimizar la inferencia offline de modelos grandes? BlendServe combina batching consciente de recursos y prefijo compartido logrando hasta 1.44x más rendimiento que vLLM y SGLang.
Rompiento el hielo: analizando la latencia de arranque en frío en vLLM
Descubre cómo la latencia de arranque en frío de vLLM afecta el rendimiento en inferencias escalables. Analizamos sus 6 fases y presentamos un modelo predictivo para optimizar recursos.
Rompiendo el hielo: Análisis de la latencia de arranque en frío en vLLM
Descubre vLLM: latencia de arranque en frío en inferencia escalable. Análisis de seis pasos y modelo predictivo para optimizar recursos.
NVIDIA Dynamo Snapshot: arranque rápido para IA en Kubernetes
NVIDIA Dynamo Snapshot reduce el cold start de modelos de IA en Kubernetes hasta 21x. Checkpoint/restore con CRIU y CUDA para escalado elástico rápido.
vLLM Semantic Router: Enrutamiento por señales para modelos multimodales
Descubre cómo vLLM Semantic Router optimiza el enrutamiento de modelos multimodales mediante señales composables, mejorando costos, privacidad y seguridad.
KVarN: Cuantificación de caché KV con normalización de varianza
Reduce errores en razonamiento con KVarN. Cuantificación KV de 2 bits que optimiza la memoria y mejora el rendimiento en modelos de lenguaje.
DriftSched: Programación adaptativa de QoS para inferencia GPU multiinquilino
DriftSched optimiza la programación GPU multi-inquilino con compensación adaptativa de deriva de tokens, reduciendo latencia un 42% y mejorando QoS.
llama.cpp b9455 alcanza a vLLM: 70 t/s en 2x3090 con Qwen 27B
Descubre cómo llama.cpp b9455 iguala la velocidad de vLLM en 2x3090 con Qwen 27B. 70 t/s en decodificación y prefill ultrarrápido para agentes.