RL basado en resultados guía a transformers a razonar solo con datos adecuados
¿Sabías que los transformers pueden aprender a razonar con solo recompensas finales? Un nuevo estudio revela que los datos simples son la clave.
#gradiente
Aprendiendo Modelos Multi-Índice: Planitud y Generalización en Redes Homogéneas
La planitud mínima de los interpoladores garantiza la generalización en modelos multi-índice con redes homogéneas.
Selección de rasgos radiomicos vía gradiente de red para cáncer de pulmón
Descubre cómo el método GL-RFE selecciona las características radiomicas más relevantes para detectar el estadio del cáncer de pulmón con un 90% de precisión.
Optimización convexa estocástica descentralizada casi óptima en redes
Nuevo método descentralizado acelera la optimización convexa estocástica, logrando la tasa centralizada con más trabajadores. ¡Mejora el escalamiento en redes!
Reutilizar trayectorias en gradientes de política permite convergencia rápida
El nuevo algoritmo RT-PG reutiliza trayectorias off-policy para acelerar la convergencia en métodos de gradientes de política, mejorando la eficiencia muestral.
Decaimiento a largo plazo de colas de SGD recortado en optimización no convexa
Nuevas cotas muestran que las colas de SGD y SGD recortado decaen exponencialmente más rápido. ¡Garantías a largo plazo mejoradas!
Estimadores de gradiente para inferencia de parámetros en modelos estocásticos
Descubre la comparativa de estimadores de gradiente (GS-ST, Score Function, Alternative Path) para inferencia en Gillespie SSA. Aplicado a sistemas biofísicos.
Límites pseudoespectrales en descenso de gradiente acoplado
Descubre cómo los nuevos límites pseudoespectrales revelan amplificación transitoria en gradiente acoplado. Clave para optimización bilevel y adversarial.
Gradiente de Política Autodestilada (SDPG)
Descubre SDPG, un marco de gradiente de política autodestilada que estabiliza el entrenamiento de LLMs mediante autorefuerzo y ventajas de grupo.
El borde de estabilidad modela selectivamente el aprendizaje en la distribución
Descubre cómo el borde de estabilidad redistribuye el aprendizaje entre grupos de datos, beneficiando a unos y suprimiendo a otros.
Gradiente de Política para MDP Robustos en Tiempo Continuo
Descubre cómo los algoritmos de gradiente de política en tiempo continuo mejoran la robustez en MDPs, con convergencia lineal y menor complejidad muestral.
¿Cuándo bastan menos coordenadas en DP-SGD?
Descubre cuándo es posible usar menos coordenadas en DP-SGD sin perder rendimiento. El método TP-TopK optimiza el entrenamiento privado reduciendo el ruido.
Revisión de amplificación de privacidad por submuestreo en DPSGD selectivo
Descubre cómo el nuevo algoritmo DPSR-CG logra privacidad diferencial rigurosa sin sacrificar el rendimiento del modelo en aprendizaje automático.
DPDL: Privacidad diferencial en aprendizaje descentralizado con datos no IID
DPDL protege tu privacidad en aprendizaje descentralizado con datos no IID mediante calibración y ruido gaussiano. Logra velocidad lineal y alta precisión.
Entrenamiento conjunto de capas en redes ReLU para modelos lineales
Aprende cómo el descenso de gradiente logra convergencia lineal en redes ReLU, evitando puntos silla y alcanzando el mínimo global.
Atribución de datos en LLMs mediante gradiente bidireccional
Descubre cómo la optimización de gradiente bidireccional permite atribuir datos de entrenamiento en LLMs, mejorando la interpretabilidad y accountability de los sistemas de IA.
Mejora de MADDPG con inferencia de acciones y muestreo por importancia
Mejora el algoritmo MADDPG con inferencia de acciones y muestreo por importancia para optimizar la cooperación y exploración en entornos multiagente.
Modelo ensamblado de factores latentes con evolución diferencial y gradiente
El modelo ELFM-DEGDO combina evolución diferencial y gradiente descendente para mejorar representación de datos HDI, superando sesgos de optimización.
Muon supera a Adam: una perspectiva de curvatura
Muon duplica la eficiencia de Adam en LLMs gracias a menor curvatura. Descubre el análisis geométrico detrás de su ventaja.
Alineación de Gradientes Invariante para Destilación Robusta de Razonamiento
IGA alinea gradientes en ejemplos lógicamente isomorfos para destilar razonamiento robusto en LLMs, con hasta 14.3% más precisión y 4x consistencia lógica.