ARCA: Asignación de Crédito Residual con Adaptadores en LLM
ARCA: método ligero de credit assignment para LLM con LoRA. Usa residuos de adaptadores, evita degeneración. Competitivo en MATH/Qwen3 sin reward model.
ARCA: método ligero de credit assignment para LLM con LoRA. Usa residuos de adaptadores, evita degeneración. Competitivo en MATH/Qwen3 sin reward model.
Descubre cómo el ajuste fino eficiente con adaptadores y LoRA logra segmentar instancias con solo 1-6% de parámetros, manteniendo rendimiento. ¡Optimiza!
Los adaptadores CP ofrecen pasos de parámetros 21 veces más finos que LoRA. ¿Mejoran la precisión? Estudio controlado en OPT-1.3B revela resultados según la tarea.
Descubre cómo MAAT, un nuevo método de desaprendizaje dirigido, resuelve el sesgo en la evaluación de conocimiento causal con el benchmark 5WBENCH.
Estudio piloto usa modelos pequeños de visión-lenguaje para descripciones de arte multilingües guiadas por curadores, mejorando la accesibilidad para ciegos.
Descubre cómo el enrutamiento dinámico de adaptadores mejora la recuperación multimodal continua, superando métodos tradicionales. Ideal para IA y visión.