El futuro estructurado: decodificación especulativa de LLM difusivos
Spiffy acelera la inferencia de LLM difusivos hasta 6.3x en tasa de tokens, preservando la distribución de salida. ¡Descubre cómo!
#optimización de inferencia
El límite de compromiso: cuándo los modelos de IA dejan de razonar realmente
Los modelos de IA alcanzan un 'límite de compromiso' donde los pasos posteriores son epifenoménicos. Optimiza el razonamiento reduciendo su longitud hasta un 55% sin perder rendimiento.
VIA-SD: Verificación jerárquica con enrutamiento intra-modelo
Descubre VIA-SD, un nuevo método de decodificación especulativa que acelera la inferencia de LLMs hasta 3x reduciendo rechazos mediante verificación jerárquica.
SpenseGPT: poda de una sola pasada para inferencia de LLM
Descubre SpenseGPT: un método de poda one-shot que acelera la inferencia de LLMs hasta 1.2 veces en GPUs B200 con FP8, manteniendo la precisión del modelo.
CrossVLA: Post-entrenamiento e inferencia entre paradigmas para VLA
Descubre CrossVLA, un estudio que optimiza el post-entrenamiento e inferencia en modelos VLA usando DPO, DoRA y técnicas de caché. Resultados en LIBERO.
De guía humana a autonomía: sistema de agentes para LLM en NPU
Despliegue autónomo de LLM en NPU espaciales usando un sistema de habilidades. Aceleraciones de hasta 4x. ¡Optimiza tu edge AI!
¿Saltar una capa o repetirla? Aprendiendo programas de capas en LLMs
Descubre cómo los LLMs pueden ejecutar programas dinámicos de capas, saltando o repitiendo, para mejorar precisión y eficiencia en razonamiento matemático.
IR3DE: Router Lineal para Grandes Modelos de Lenguaje
IR3DE: router lineal que selecciona el mejor modelo experto para cada prompt, logrando 98.4% de rendimiento sin reentrenamiento. Optimiza tus inferencias.
SOLARIS: Descarga especulativa de representaciones latentes para inferencia
Descubre cómo SOLARIS acelera la inferencia de modelos fundacionales con descarga especulativa, logrando un 0.67% de aumento en ingresos en Meta.
BG-MCTS: Búsqueda en árbol con presupuesto fijo de tokens
Descubre cómo BG-MCTS optimiza búsqueda en árbol con presupuesto fijo de tokens para razonamiento superior.
NetKV: Instancias de decodificación conscientes de red para LLMs desagregados
NetKV reduce hasta un 21.2% el tiempo hasta el primer token en inferencia LLM desagregada, superando schedulers tradicionales sin cambios en hardware.
FutureWeaver: Optimización de Cómputo en Tiempo de Prueba Multi-Agente
Descubre FutureWeaver: optimiza cómputo en tiempo de prueba para sistemas multi-agente con planificación dual y colaboración modular. Con presupuesto limitado.
DuetServe: Prefill y decode en LLM con multiplexación adaptativa de GPU
DuetServe armoniza prefill y decode en LLMs con multiplexación adaptativa de GPU. Mejora el throughput 1.3x manteniendo baja latencia. Descúbrelo.
DAPD: Decodificación Paralela con Atención y Dependencias para LLMs de Difusión
Descubre cómo DAPD mejora la precisión y velocidad en LLMs de difusión mediante decodificación paralela consciente de dependencias sin reentrenamiento.
Inferencia eficiente en tiempo de test para modelos de planificación generativa
Optimiza la inferencia en tiempo de prueba con el algoritmo OCL, mejorando eficiencia y calidad de soluciones en planificación generativa.
Destilación colaborativa y cuantización de baja precisión en Wan2.2
Descubre cómo optimizar modelos de video Wan2.2 con destilación y cuantización de baja precisión. ¡Mejor calidad, menos pasos!
Inferencia de bajo bit extremo en modelos de razonamiento: fallos y recuperación
Descubre cómo la inferencia 2-bit en modelos de razonamiento genera fallos como bucles y cómo la planificación y rescate recuperan precisión hasta 87%.