ProbeScale: Análisis de Sondas para Optimizar Leyes de Escalado en SLMs
Descubre cómo ProbeScale optimiza SLMs mediante análisis de sondas, seleccionando subredes que reducen hasta 10 veces los parámetros sin perder rendimiento.
#optimización de modelos
Critic-R: mejora la búsqueda agéntica con retroalimentación introspectiva
Descubre Critic-R: un marco que cierra el ciclo de retroalimentación entre agente y retriever, mejorando la precisión en búsquedas complejas sin anotaciones manuales. Resultados superiores en QA.
Fusión de Expertos en MoE Dispersos con Nash Bargaining
Descubre cómo NAMEx, basado en teoría de juegos, mejora la colaboración entre expertos en modelos MoE, logrando mayor precisión y robustez en IA.
¿Quién es responsable? Atribución en sistemas de IA modernos
Aprende a rastrear la responsabilidad en sistemas de IA modernos: nuestro marco cuantifica el impacto de cada etapa de desarrollo para una IA más responsable.
Alcance espectral: el escalado neuronal progresa en la cola espectral
Descubre cómo el alcance espectral mide la capacidad de los modelos grandes para explotar señales débiles en la cola espectral, reduciendo la pérdida mediante el aprendizaje de características.
Hedging en la frontera para aprendizaje con pocas muestras
Aprende a usar el hedging en la frontera para aprender nuevas tareas con pocos ejemplos. Mejora la transferencia y selección de modelos con monotonicidad débil.
Mezcla de Comportamiento con Región de Confianza para Destilación On-Policy
Descubre cómo TRB mejora la destilación on-policy con mezcla de comportamientos y región de confianza, logrando mejores resultados en razonamiento matemático.
ConMoE: Consolidación del grupo de expertos mediante reasignación de prototipos para la compresión de MoE
ConMoE: consolidación de grupos de expertos con reasignación de prototipos para compresión de MoE. Descubre cómo comprimir modelos MoE optimizando eficiencia y rendimiento.
CIVIC: Compacidad de secuencia de extremo a extremo para modelos eficientes de visión-lenguaje
CIVIC: compacidad de secuencia para modelos eficientes de visión-lenguaje. Optimiza rendimiento con menor costo computacional.