ProbeScale: Análisis de Sondas para Optimizar Leyes de Escalado en SLMs
Descubre cómo ProbeScale optimiza SLMs mediante análisis de sondas, seleccionando subredes que reducen hasta 10 veces los parámetros sin perder rendimiento.
#leyes de escala
Alcance espectral: el escalado neuronal progresa en la cola espectral
Descubre cómo el alcance espectral mide la capacidad de los modelos grandes para explotar señales débiles en la cola espectral, reduciendo la pérdida mediante el aprendizaje de características.