MiniMax Sparse Attention: eficiencia en contexto largo
Descubre cómo MiniMax Sparse Attention (MSA) reduce 28.4 veces el cómputo de atención en contextos de 1M tokens, logrando aceleraciones de hasta 14.2x en prefill y 7.6x en decoding en GPUs H800.
#contexto largo
Aprendizaje por refuerzo optimiza atención deslizante en razonamiento matemático
Descubre cómo SWARR usa RL para hacer la atención de ventana deslizante competitiva en razonamiento matemático, recuperando precisión con eficiencia lineal.
Campos Asociativos Causales Paralelos: Memoria Dispersa para Contexto Largo
Descubre cómo PCAF revoluciona el modelado de lenguaje con memoria dispersa paralela, logrando mayor velocidad y eficiencia que transformers tradicionales. ¡Lee más!
Campos Asociativos Causales Paralelos: Memoria Dispersa para Contexto Largo
Descubre PCAF, un novedoso modelo de memoria dispersa que acelera el procesamiento de lenguaje con contexto largo, superando a Transformers en velocidad y perplejidad.
Modelado de Lenguaje Express: Optimización de Atención Causal
Express optimiza atención causal, supera a FlashAttention 2. Reduce cuellos de botella de memoria, cómputo y compresión KV en modelado de lenguaje.
Still: Compactación del Caché KV en una Sola Pasada Directa
Still comprime el caché KV en una sola pasada, reduciendo memoria en modelos de lenguaje sin perder calidad. Ideal para contextos largos.
Inferencia adaptativa guiada por entropía para LLMs de contexto largo
Descubre EntropyInfer: un método sin entrenamiento que acelera hasta 2.39x la inferencia de LLMs en contextos largos, adaptando dinámicamente la atención por cabeza y segmento.
EASE-TTT: Entrenamiento selectivo en tiempo de prueba para QA largo
Descubre cómo EASE-TTT alinea la atención con evidencia para mejorar la precisión en preguntas de contexto largo usando modelos pequeños.
![MAGE: El bloque All-[MASK] sabe dónde mirar en difusión por bloques LLM](https://images.unsplash.com/photo-1664526936810-ec0856d31b92?ixid=M3w4MzI5MzV8MHwxfHNlYXJjaHwxfHxzcGFyc2UlMjBhdHRlbnRpb24lMjBibG9jayUyMGRpZmZ1c2lvbiUyMG1vZGVsfGVufDB8fHx8MTc4MDkxMDA3NHww&ixlib=rb-4.1.0)
MAGE: El bloque All-[MASK] sabe dónde mirar en difusión por bloques LLM
Con MAGE, la atención dispersa acelera hasta 6.82x la inferencia en contexto largo sin pérdida de precisión.
Compresión de tokens alineada con planificación en conducción autónoma
Optimiza la conducción autónoma con COMPACT-VA: compresión de tokens alineada con la planificación logra 68% éxito y 3.3x aceleración.
RedKnot: Reutilización KV por cabezas para LLM de contexto largo
Descubre RedKnot: un sistema que optimiza la caché KV por cabezas para servir LLMs de contexto largo, mejorando eficiencia y escalabilidad sin reentrenar modelos.
Inversión óptima de matrices con multiplicación para atención lineal cuantizada
Aceleración 5x en atención lineal en NPU con inversión de matrices solo multiplicación, reduciendo 20% sobrecarga sin perder precisión.
Contexto más largo, razonamiento más profundo
Descubre cómo mejorar la capacidad de contexto largo en modelos de lenguaje antes del fine-tuning supervisado incrementa significativamente la precisión en tare
Contexto largo y razonamiento profundo en modelos de lenguaje
Mejora el razonamiento de tu IA entrenando en contexto largo. Estudio revela beneficios incluso en entradas cortas. ¡Descubre cómo!
SoLoPO: Optimización de Preferencias de Corto a Largo en LLMs
Descubre cómo SoLoPO mejora la capacidad de los LLMs para manejar contextos largos mediante optimización de preferencias de corto a largo, logrando mayor eficiencia y precisión.
100-LongBench: ¿Los benchmarks de contexto largo evalúan realmente la capacidad?
Descubre por qué los benchmarks actuales como LongBench no miden correctamente la capacidad de contexto largo de los LLMs y cómo una nueva métrica lo soluciona.
SoLoPO: mejora el contexto largo en LLMs con optimización corto-largo
Descubre SoLoPO, un framework que mejora la capacidad de los LLMs para manejar contextos largos mediante optimización de preferencias corto-largo. Mayor eficiencia y precisión.
100-LongBench: ¿Evalúan realmente los benchmarks de contexto largo?
Descubre cómo un nuevo benchmark y métrica separan la capacidad de contexto largo de la habilidad base de los LLMs, revelando cuándo fallan realmente.
MesaNet: Entrenamiento Localmente Óptimo en Tiempo de Prueba
MesaNet optimiza el entrenamiento en tiempo de prueba para mejorar el rendimiento en secuencias largas. Menor perplejidad y mayor eficiencia.
SparDA: Atención Dispersa Desacoplada para LLM de Contexto Largo
Descubre SparDA, una arquitectura que acelera la inferencia de LLM de contexto largo hasta 5.3x, reduciendo el cuello de botella del caché KV.