Leyes de escalado y espectros en redes neuronales superficiales
Descubre cómo las leyes de escalado en redes superficiales explican la generalización mediante el espectro de pesos. Validación teórica.
#leyes
Leyes de escalado espectral de Muon
Descubre las leyes de escalado espectral de Muon: cómo las iteraciones Newton-Schulz afectan el entrenamiento de LLMs. Ahorra cómputo sin sacrificar calidad.
Marco de variables latentes para leyes de escalado en LLMs
Descubre un nuevo marco estadístico con variables latentes para predecir rendimiento de LLMs en múltiples benchmarks. Ideal para entender leyes de escalado.
Amenazas a la validez en investigación de modelos fundacionales
Descubre cómo ahorrar en computación al investigar modelos fundacionales puede comprometer la validez. Aprende a identificar y evaluar estas amenazas con un marco práctico.
Poblaciones neuronales: selectividad divergente con la escala
Un estudio revela cómo las neuronas en modelos de IA se vuelven más especializadas y menos compartidas a medida que crece el tamaño del modelo. Descubre el efecto de polarización neuronal.
Descubrimiento progresivo de leyes físicas basado en datos
CoSR descubre progresivamente leyes físicas desde datos, imitando el método científico. Aplicaciones en turbulencia, flujos y aerodinámica.
SERA: Agentes de Repositorio Eficientes con Verificación Suave
Descubre SERA, el método que entrena agentes de código abierto para repositorios privados con un costo 26x menor que RL. Acelera tu desarrollo con IA.
Datos sintéticos de calidad permiten primeras leyes de escalado para LLMs en recomendación
Descubre cómo datos sintéticos de calidad permiten las primeras leyes de escalado para LLMs en recomendación, superando datos reales.
Estructura y Escala en Modelado de Secuencias Simpliciales
¿Cómo se relacionan las leyes de escalado con las representaciones internas en deep learning? Este estudio revela una correlación entre rendimiento y estructura
El código fuente no está oculto, solo debes reenfocar tu lente
Descubre cómo un libro de lógica revela el código fuente del universo. Reenfoca tu lente y explora la distinción primaria.
Soberanía de IA: aprendizaje nacional en Francia, EE.UU. y China
Francia, EE.UU. y China logran soberanía en IA regulando su aprendizaje nacional. Modelo basado en aprendizaje centrado en humanos.
Cuando datos escasean: escalando modelos dispersos con entrenamiento repetido
Optimiza el escalado de modelos dispersos con datos limitados. Descubre leyes de escalado, saturación retardada y compensaciones clave.
ProbeScale: Análisis de Sondas para Optimizar Leyes de Escalado en SLMs
Descubre cómo ProbeScale optimiza SLMs mediante análisis de sondas, seleccionando subredes que reducen hasta 10 veces los parámetros sin perder rendimiento.
Funciones de Densidad Causal
Descubre cómo las funciones de densidad causal permiten medir efectos causales punto a punto, comparando leyes intervencionales y observacionales con estimadores prácticos.
Inferencia Bayesiana Escalable para Leyes de Conservación No Lineales
Aprende cómo la inferencia bayesiana escalable con procesos gaussianos resuelve problemas inversos en segundos, superando a métodos de deep learning.
Alcance espectral: el escalado neuronal progresa en la cola espectral
Descubre cómo el alcance espectral mide la capacidad de los modelos grandes para explotar señales débiles en la cola espectral, reduciendo la pérdida mediante el aprendizaje de características.