Rompiendo la burbuja: entrenamiento asincrónico con inconsistencia acotada
Descubre PACI, un método de entrenamiento asincrónico que elimina la burbuja del pipeline sin sacrificar consistencia. Mejora la velocidad hasta 1.69x.
#entrenamiento de redes neuronales
Flatland: Las aventuras del descenso de gradiente con pasos grandes
Descubre cómo el descenso de gradiente con pasos grandes opera en el borde de estabilidad, logrando convergencia no monótona y mejorando la generalización.
Entrenamiento de red predictiva en ImageNet con propagación de equilibrio
Entrenamiento de red predictiva en ImageNet con propagación de equilibrio logra 13.23% error top-5, igualando casi la retropropagación.
Dificultad de aprender meta-red para selección de datos
La selección de datos sintéticos con meta-redes tiene desafíos. Descubre cómo aumentar el tamaño de lote y usar características informativas mejora el rendimiento en un 5.49%.