Flatland: Las aventuras del descenso de gradiente con pasos grandes
Descubre cómo el descenso de gradiente con pasos grandes puede converger en el borde de estabilidad, mejorando el entrenamiento de redes neuronales.
#sharpness
Flatland: Las aventuras del descenso de gradiente con pasos grandes
Descubre cómo el descenso de gradiente con pasos grandes opera en el borde de estabilidad, logrando convergencia no monótona y mejorando la generalización.
Descenso de gradiente en el borde de la estabilidad: modelo de energía libre
Descubre cómo el descenso de gradiente en el borde de la estabilidad genera oscilaciones persistentes y cómo un modelo de energía libre las predice.