Estimación eficiente de hipergradientes en RL bi-nivel descentralizado
Aprende a estimar hipergradientes en RL bi-nivel descentralizado con el truco de Boltzmann. Optimización eficiente sin intervención.
#bi-nivel
BLISS: Método ligero de influencia bilevel para selección de datos
BLISS: método ligero para selección de datos en preentrenamiento de LLMs. Logra 1.7x de aceleración sin modelos externos.
Dificultad de aprender meta-red para selección de datos
La selección de datos sintéticos con meta-redes tiene desafíos. Descubre cómo aumentar el tamaño de lote y usar características informativas mejora el rendimiento en un 5.49%.