#reducción de memoria en inferencia

Atención Dispersa Estocástica para Inferencia Limitada por Memoria

Optimiza la inferencia con atención dispersa estocástica: reduce el uso de memoria sin sacrificar rendimiento. Técnica eficiente para modelos de lenguaje.