#comunicaciones locales

GASLoC: unificando comunicaciones y actualizaciones locales para LLMs

GASLoC unifica comunicaciones y actualizaciones locales para preentrenar LLMs de forma eficiente, superando a DiLoCo en entornos heterogéneos.