#single-node

Entrenando un MoE disperso de 120B con escalado reversible

Aprende a entrenar un MoE de 120B parámetros en un solo nodo GPU usando escalado reversible y cuantización. Optimiza memoria y alcanza pérdida de 1.78.