Verificadores buenos que fallan: VLM auto-mejorables retroceden en nuevas tareas
Aprende cómo verificadores de calidad superior pueden causar regresiones inesperadas en modelos VLM auto-mejorables, y cómo evitarlo.
#aprendizaje por preferencias
Optimización de políticas sin valor mediante partición de recompensas
Descubre RPO, un método que elimina la función de valor en optimización de preferencias. Más estable, diverso y con menos toxicidad que DRO y KTO. Ideal para alinear LLMs.
GFlowGR: Optimización de Sistemas de Recomendación Generativos con GFlowNets
GFlowGR utiliza GFlowNets para ajustar sistemas de recomendación, mitigando el sesgo de exposición. Mejora diversidad y precisión. Optimiza tu modelo.
Agregación de Deltas de Preferencia: de señales débiles a modelos fuertes
Aprende cómo el método PDA agrega señales débiles con fusión LoRA para mejorar LLMs en razonamiento y búsqueda.