Agregación segura con Top-K en aprendizaje federado descentralizado
Descubre cómo la agregación segura con escasez Top-K reduce costos de comunicación en aprendizaje federado descentralizado, manteniendo precisión del modelo.
#comunicación eficiente
FlashCP: Paralelismo de contexto eficiente y balanceado para LLM
Descubre FlashCP, el paralelismo de contexto que acelera hasta 1.63x el entrenamiento de LLM con carga balanceada y comunicación eficiente.
Optimización Descentralizada Acelerada con SGD Estocástico
Descubre MG-ADSGD, algoritmo que acelera la optimización descentralizada con SGD, mejorando comunicación y convergencia para problemas fuertemente convexos.
Aprendizaje de compresión de subespacios para paralelismo eficiente en pipeline
MAPL comprime activaciones en paralelismo de tubería con proyecciones ortogonales aprendidas, reduce comunicación sin pérdida de rendimiento en modelos LLaMA.
Local MixVR: Rompe Dependencia Comunicación-Muestra en Aprendizaje Distribuido
Descubre Local MixVR, el primer método de aprendizaje distribuido que elimina la dependencia de la comunicación con el número de muestras. ¡Optimiza tu modelo!
DeMoA: Agregación de Momento Retrasado con Participación Parcial
DeMoA optimiza aprendizaje federado con participación parcial, resistiendo ataques bizantinos incluso si dominan clientes maliciosos. ¡Eficiencia y seguridad!