Sumideros de Atención Inducen Sumideros de Gradiente: Activaciones Masivas como Reguladores de Gradiente en Transformadores
Sumideros de atención inducen sumideros de gradiente en transformadores. Descubre cómo este fenómeno afecta el entrenamiento y su relevancia en modelos de lenguaje.