Aprendizaje por refuerzo optimiza atención deslizante en razonamiento matemático
Descubre cómo SWARR usa RL para hacer la atención de ventana deslizante competitiva en razonamiento matemático, recuperando precisión con eficiencia lineal.
#inferencia de contexto largo
![MAGE: El bloque All-[MASK] sabe dónde mirar en difusión por bloques LLM](https://images.unsplash.com/photo-1664526936810-ec0856d31b92?ixid=M3w4MzI5MzV8MHwxfHNlYXJjaHwxfHxzcGFyc2UlMjBhdHRlbnRpb24lMjBibG9jayUyMGRpZmZ1c2lvbiUyMG1vZGVsfGVufDB8fHx8MTc4MDkxMDA3NHww&ixlib=rb-4.1.0)
MAGE: El bloque All-[MASK] sabe dónde mirar en difusión por bloques LLM
Con MAGE, la atención dispersa acelera hasta 6.82x la inferencia en contexto largo sin pérdida de precisión.
MomentKV: Cerrando la brecha direccional en desalojo de cache KV
MomentKV mejora la eficiencia de inferencia larga cerrando la brecha direccional en el desalojo de cache KV, reduciendo errores y permitiendo mayor compresión.