AdaGrad++ y Adam++: métodos adaptativos simples sin parámetros
Descubre AdaGrad++ y Adam++: algoritmos adaptativos sin parámetros que ofrecen convergencia garantizada. Optimiza deep learning sin ajustes manuales.
#convergencia
Sensado comprimido adaptativo: estimación eficiente del eigenvector principal
Nuevo análisis muestra que el sensado adaptativo comprimido alcanza convergencia global con solo dos medidas por iteración, revelando límites insuperables frente a métodos no adaptativos.
RefLoRA: Adaptación de Bajo Rango Refactorizada para Modelos Grandes
Descubre RefLoRA, una nueva técnica de fine-tuning que acelera la convergencia y mejora el rendimiento de modelos grandes con mínimo costo computacional.
Aproximación con Redes Neuronales Multigrado
Descubre cómo el enfoque Multigrade Deep Learning permite entrenar redes profundas por grados, reduciendo errores residuales y garantizando convergencia uniforme en arquitecturas ReLU.
Escalado temporal universal de 1/3 en distribuciones puntiagudas
El entrenamiento de LLMs converge lentamente por una razón fundamental: softmax y entropía cruzada generan un escalado de pérdida universal 1/3. Descubre las implicaciones.
Mejor fuente, mejor flujo: Distribución condicional en Flow Matching
Aprende cómo la distribución de fuente condicional optimizada en Flow Matching acelera la convergencia hasta 3x y mejora la calidad en generación texto-imagen.
Certificación no vacía de Transport MCMC con flujos normalizadores
Certificación no vacía de MCMC de transporte: nuevos límites de brecha espectral con flujos normalizadores. Ideal para muestreo bayesiano.
Mejora del alineamiento de representaciones visuales con GRPO
Descubre cómo VRPO mejora el alineamiento de representaciones en difusores mediante optimización por refuerzo, logrando +1.8 FID y 2.3x más rápido que REPA.
LiMuon: Optimizador Muon Ligero y Rápido para Modelos Grandes
Descubre LiMuon, el optimizador ligero y rápido que reduce memoria y complejidad muestral para entrenar modelos grandes. ¡Mejor rendimiento!
Predicción campo completo aeronaves 3D aprendizaje multigrid jerárquico
Descubre cómo el aprendizaje multigrid jerárquico acelera simulaciones CFD de aeronaves 3D, reduciendo costos computacionales sin perder precisión.
Un marco unificado para la agregación de gradientes en optimización multiobjetivo
Descubre un marco teórico que unifica los algoritmos de agregación de gradientes para optimización multiobjetivo, con nuevas garantías de convergencia y aplicac
Convergencia lineal local en mezclas gaussianas sobreparametrizadas
Descubre cómo los métodos de gradiente logran convergencia lineal en mezclas gaussianas sobreparametrizadas, superando la lentitud tradicional. Leer más.
Selección de región de confianza basada en BAI para optimización bayesiana
Descubre cómo la identificación del mejor brazo (BAI) mejora la optimización bayesiana en funciones multimodales, acelerando la convergencia al óptimo global.
Convergencia de aproximaciones bi-escala markovianas en RL
Descubre cómo se demuestra la convergencia de algoritmos bi-escala bajo ruido markoviano, un avance clave para el aprendizaje por refuerzo off-policy.
Convergencia no asintótica de algoritmos estocásticos: marco de Lyapunov
Descubre cómo el marco de Lyapunov permite analizar la convergencia en tiempo finito de algoritmos estocásticos como Q-learning y SGD. Ideal para IA y RL.
Convergencia no asintótica de algoritmos estocásticos: marco de Lyapunov
Descubre cómo las funciones de Lyapunov permiten analizar la convergencia finita de algoritmos estocásticos en aprendizaje automático y refuerzo.
Aprendizaje por refuerzo multiobjetivo con restricciones y criterio max-min
Descubre cómo el nuevo marco MORL con criterio max-min logra equidad y cumple restricciones en control térmico, locomoción y tráfico. ¡Optimiza decisiones multiobjetivo!
Balanced LoRA: Eliminando invariancia de parámetros para acelerar convergencia
Acelera tu fine-tuning con BaLoRA: elimina invariancia de parámetros para convergencia más rápida y mejor rendimiento.
Teoría exacta de algoritmos de error feedback en optimización distribuida
Aprende cómo los algoritmos de error feedback logran convergencia óptima en optimización distribuida con compresión de gradientes. Análisis para EF y EF21.
Convergencia global CES: límites de campo medio a concentración semiclásica
La CES logra convergencia global en optimización estocástica mediante límites de campo medio y concentración semiclásica, superando colapsos de varianza.