Still: Compactación del Caché KV en una Sola Pasada Directa
Still comprime el caché KV en una sola pasada, reduciendo memoria en modelos de lenguaje sin perder calidad. Ideal para contextos largos.
#optimización de memoria
FlashCP: Paralelismo de contexto eficiente y balanceado para LLM
Descubre FlashCP, el paralelismo de contexto que acelera hasta 1.63x el entrenamiento de LLM con carga balanceada y comunicación eficiente.
Entrenando un MoE disperso de 120B con escalado reversible
Aprende a entrenar un MoE de 120B parámetros en un solo nodo GPU usando escalado reversible y cuantización. Optimiza memoria y alcanza pérdida de 1.78.
PolarQuant: Cuantificación de Cache de Claves y Aceleración de Decodificación
Optimiza el uso de memoria en LLMs con PolarQuant. Esta técnica de cuantificación polar acelera la decodificación al transformar claves en coordenadas polares.
Memoria de Agentes: Caracterización y Cargas de Largo Plazo con Estado
Descubre las claves para optimizar la memoria de agentes IA en cargas de largo plazo. Caracterización, implicaciones de sistema y 10 recomendaciones.
Cuantización de Precisión Mixta por Canal para Grandes Modelos de Lenguaje
Optimiza tus modelos de lenguaje con CMPQ: cuantización de precisión mixta por canal que ahorra memoria y mejora el rendimiento en dispositivos edge.
Optimización de Memoria en Bucle Cerrado para Ingeniería de Software
Aumenta la tasa de éxito de agentes de software en un 5.25% con optimización de memoria en bucle cerrado.
LiftQuant: Ancho de bits continuo en LLM mediante elevación dimensional
Descubre LiftQuant: cuantización continua de LLM que permite comprimir modelos de 70B a tan solo 2.4 bits, ajustándose perfectamente a tu memoria GPU.
Cómo solucionar el error java.lang.OutOfMemoryError: GC overhead limit exceeded
¿Error java.lang.OutOfMemoryError? Aprende cómo solucionar el límite de overhead del GC ajustando el heap y usando profiling. Guía paso a paso.
InfoMem: Agentes de Memoria con Ganancia de Información Condicionada a Respuestas
Descubre InfoMem, un mecanismo de recompensa que evalúa la utilidad de la memoria final para mejorar el rendimiento de los LLM en tareas de largo contexto.
Backpropagación Estructurada Eficiente en Memoria para Ajuste Fino de LLM
Descubre MeSP: reduce un 49% la memoria al ajustar LLMs en dispositivos, con gradientes exactos. Ideal para entrenamiento privado.
GradMem: Contexto en Memoria con Descenso de Gradiente en Tiempo de Prueba
Optimiza LLMs con GradMem: escribe contexto en memoria mediante descenso de gradiente en tiempo de prueba, reduciendo la necesidad de grandes cachés.
ForesightKV: Evicción óptima de caché KV en modelos de razonamiento
ForesightKV optimiza la evicción de caché KV en modelos de razonamiento, superando métodos previos con la mitad del presupuesto y aprendizaje combinado.
LRAgent: Caché KV Compartido Eficiente para Agentes Multi-LoRA
Descubre cómo LRAgent comparte eficientemente la caché KV entre agentes Multi-LoRA, reduciendo memoria y cómputo sin perder precisión. ¡Optimiza tus LLMs!
MomentKV: Cerrando la brecha direccional en desalojo de cache KV
MomentKV mejora la eficiencia de inferencia larga cerrando la brecha direccional en el desalojo de cache KV, reduciendo errores y permitiendo mayor compresión.
BitsMoE: Asignación eficiente de bits para cuantización de MoE LLM
BitsMoE asigna bits inteligentemente en MoE LLM, logrando cuantización 2 bits con 27.83% más precisión, 12.3x más rápida y 1.76x más velocidad.
BudgetDraft: Entrenamiento Multi-Vista para Decodificación Especulativa Dispersa
Descubre BudgetDraft: entrenamiento multi-vista acelera decodificación especulativa con KV disperso hasta 6.55x en contextos de 4K a 16K, optimizando memoria.
HASTE: Entrenamiento Disperso Dinámico para Grandes Espacios de Salida
Con HASTE, el entrenamiento disperso dinámico consciente del hardware logra hasta 25x de aceleración en backpropagation para clasificación multi-etiqueta extrema.