La elección fundamental en Reinforcement Learning: On-Policy vs Off-Policy
Descubre cómo la elección entre On-Policy y Off-Policy define la exploración, seguridad y eficiencia en el aprendizaje por refuerzo. Conoce las diferencias.
#off-policy
Optimización de Política de Secuencia Suave
Descubre Soft Sequence Policy Optimization: un nuevo método off-policy que mejora la estabilidad y rendimiento en tareas de razonamiento y codificación para LLMs.
Modelos Mundiales de Difusión Autoregresiva para Evaluar Agentes LLM
Descubre ADWM, un marco de evaluación offline que simula entornos interactivos para estimar el rendimiento de agentes LLM sin necesidad de ejecución en línea.
Explotando similitudes en A/B testing con estimación off-policy
Descubre cómo aprovechar las similitudes entre sistemas en pruebas A/B usando estimación off-policy para obtener resultados más precisos y robustos.
Aprendizaje off-policy: optimización > estimación en grandes acciones
Descubre por qué la optimización es clave en el aprendizaje off-policy con grandes espacios de acción, y cómo los pesos de verosimilitud simplifican el proceso.
Zero-Shot Off-Policy: Aprendizaje sin Entrenamiento
Nueva técnica de aprendizaje off-policy con zero-shot adapta políticas óptimas sin reentrenamiento, usando sucesores y densidades estacionarias. Benchmark en ExoRL y OGBench.
Aprendizaje Off-Policy con Zero-Shot
Aprende cómo el método Zero-Shot Off-Policy Learning permite adaptar políticas a nuevas tareas sin reentrenamiento, usando medidas sucesoras y corrección de distribución para una rápida adaptación.
RLVR sin muestras ineficaces: POPO para razonamiento LLM
POPO elimina muestras ineficaces acelerando el fine-tuning de LLM para razonamiento matemático, planificación y geometría visual con menos rollouts.
Convergencia de aproximaciones bi-escala markovianas en RL
Descubre cómo se demuestra la convergencia de algoritmos bi-escala bajo ruido markoviano, un avance clave para el aprendizaje por refuerzo off-policy.
Correcciones auxiliares conscientes del comportamiento para la predicción de diferencias temporales fuera de política
<meta content=Aprende cómo las correcciones auxiliares conscientes del comportamiento optimizan el aprendizaje por refuerzo TD fuera de política. Mejora la eficiencia y estabilidad de tus algoritmos.>
DAGs Cociente para la Evaluación Off-Policy: Muestreo por Importancia de Flujo Hacia Adelante y Propensiones Exactas de Listas
Descubre cómo la evaluación off-policy se beneficia de los DAGs cociente y el muestreo por importancia adelantado para estimaciones más precisas y eficientes.