Cuando el Maestro No Puede Ayudar: Combatiendo la Decadencia de Fidelidad en Destilación
Lookahead Group Reward combate la degradación de fidelidad en destilación on-policy, mejorando el razonamiento en modelos de IA hasta 4.92 puntos en AIME-26.
#on-policy
Mezcla de Comportamiento con Región de Confianza para Destilación On-Policy
Descubre cómo TRB mejora la destilación on-policy con mezcla de comportamientos y región de confianza, logrando mejores resultados en razonamiento matemático.
OISD: Autodestilación interna on-policy de modelos de lenguaje
<meta name="description" content=Autodestilación on-policy en modelos de lenguaje: optimiza el entrenamiento de LLMs mediante destilación de conocimiento con políticas actualizadas para mayor eficiencia y rendimiento.>
Descenso de espejo en el espacio de trayectorias para el aprendizaje por refuerzo on-policy bajo el puente de Schrödinger generalizado
Descenso de espejo en trayectorias para RL on-policy bajo el puente de Schrödinger generalizado. Método innovador que optimiza políticas combinando teoría de puentes de Schrödinger y aprendizaje por refuerzo.
Destilación on-policy eficiente en datos para el reconocimiento automático del habla
Aprende sobre destilación on-policy eficiente en datos para reconocimiento del habla. Mejora el rendimiento de ASR con menos datos de entrenamiento.
Destilación on-policy multi-maestro consciente de la contraacción para la recuperación de capacidades generales con preservación del dominio
<meta content=Descubre cómo la destilación multi-maestro on-policy con conciencia de contraacción recupera capacidades generales sin perder el dominio. Una innovación en aprendizaje automático. name=description>
Menos es más: Detención temprana del rollout para destilación on-policy
Descubre cómo la parada temprana del rollout optimiza la destilación on-policy. Menos recursos, mejores resultados. Estrategia eficiente para modelos de aprendizaje automático.
No todo desacuerdo es aprendible: Enseñabilidad de tokens en destilación on-policy
<meta name=description content=Explora por qué no todo desacuerdo de tokens es aprendible en destilación on-policy. Implicaciones clave para modelos de lenguaje.>