Optimización Riemanniana Descentralizada en Línea más allá de Hadamard
Nuevo algoritmo de optimización Riemanniana descentralizada online con consenso curvatura y cota de arrepentimiento O(√T).
#optimización descentralizada
Optimización Descentralizada Acelerada con SGD Estocástico
Descubre MG-ADSGD, algoritmo que acelera la optimización descentralizada con SGD, mejorando comunicación y convergencia para problemas fuertemente convexos.
Gradiente Descendente Estocástico Descentralizado Acelerado
MG-ADSGD acelera la optimización descentralizada con comunicación eficiente, logrando la mejor complejidad comunicacional para problemas fuertemente convexos.
Optimización estocástica descentralizada no convexa bajo suavidad (L0,L1)
Nuevo algoritmo DNSGD: optimización descentralizada no convexa con suavidad (L0,L1). Logra punto estacionario con menor complejidad. ¡Descúbrelo!
DeMuon: Muon Descentralizado para Optimización de Matrices en Grafos
DeMuon: primer método descentralizado para optimización de matrices en grafos con garantías. Supera a otros en entrenamiento de transformers.
DeMuon: Optimización Matricial Descentralizada en Grafos
Descubre DeMuon, el primer método descentralizado para optimización matricial en grafos con garantías de convergencia. Mejora el entrenamiento de transformers.
DECA: Descentralizando el Ajuste Fino Completo de LLMs
Descubre DECA, el ajuste fino completo descentralizado para LLMs con Adam por bloques y datos no IID.