Hyperball: Optimizadores de Preentrenamiento Fantásticos
Descubre Hyperball, un wrapper que acelera el preentrenamiento de modelos de lenguaje hasta un 30% mejorando la convergencia. Optimizado para Muon y Adam.
#matrices de peso
TailLoR: Protegiendo Componentes Principales en Aprendizaje Continuo
Descubre TailLoR, un método que protege los componentes principales usando descomposición espectral para un aprendizaje continuo eficiente y sin interferencias.