MGUP: Política de Actualización con Alineación Gradiente-Momentum
Descubre MGUP, un nuevo mecanismo de actualización selectiva que acelera y estabiliza el entrenamiento de modelos de IA. Integrable con AdamW, Lion y Muon.
#mgup
MGUP: Alineación de gradiente de momento para optimización estocástica
Descubre MGUP: acelera el entrenamiento de modelos de IA con actualizaciones selectivas y garantías de convergencia. Mejora AdamW, Lion y Muon.