DeMuon: Muon Descentralizado para Optimización de Matrices en Grafos
DeMuon: primer método descentralizado para optimización de matrices en grafos con garantías. Supera a otros en entrenamiento de transformers.
#demuon
DeMuon: Optimización Matricial Descentralizada en Grafos
Descubre DeMuon, el primer método descentralizado para optimización matricial en grafos con garantías de convergencia. Mejora el entrenamiento de transformers.