Unificar comunicaciones y actualizaciones locales en preentrenamiento de LLMs
GASLoC unifica comunicaciones y actualizaciones locales para preentrenar LLMs. Supera algoritmos descentralizados y compite con DiLoCo en eficiencia.
#diloco
GASLoC: unificando comunicaciones y actualizaciones locales para LLMs
GASLoC unifica comunicaciones y actualizaciones locales para preentrenar LLMs de forma eficiente, superando a DiLoCo en entornos heterogéneos.
MuLoCo: Muon como optimizador interno práctico para DiLoCo
Descubre MuLoCo, el optimizador con Muon que supera a DiLoCo, permite mayores batch sizes y mejor escalabilidad en entrenamiento de modelos de lenguaje.