Enfoque de precisión dinámica consciente de curvatura para PINNs
Descubre cómo un control de precisión basado en curvatura reduce costos computacionales en PINNs sin sacrificar exactitud. Optimiza tu entrenamiento.
#optimizador
Denoise primero, ortogonaliza después: Momento en Muon como filtro espectral
Descubre cómo el momento en Muon filtra el ruido del gradiente, mejorando el entrenamiento de LLMs. Un análisis teórico con respaldo experimental.
MuLoCo: Muon como optimizador interno práctico para DiLoCo
Descubre MuLoCo, el optimizador con Muon que supera a DiLoCo, permite mayores batch sizes y mejor escalabilidad en entrenamiento de modelos de lenguaje.