Modelando AdaGrad, RMSProp y Adam con ecuaciones integro-diferenciales
Descubre cómo AdaGrad, RMSProp y Adam se modelan con ecuaciones integro-diferenciales. Un nuevo enfoque teórico para optimizadores adaptativos.
#rmsprop
Convergencia del descenso más pronunciado y Adam bajo suavidad no uniforme
Descubre cómo el descenso más pronunciado y Adam logran convergencia lineal bajo suavidad no uniforme, superando a GD, AdaGrad y otros.