Speedrun de preentrenamiento de modelos tabulares
Descubre cómo el speedrun de nanoTabPFN logró un speedup de 81x en preentrenamiento de modelos tabulares. Participa y contribuye al benchmark abierto en GitHub.
#entrenamiento
Denoise primero, ortogonaliza después: Momento en Muon como filtro espectral
Descubre cómo el momento en Muon filtra el ruido del gradiente, mejorando el entrenamiento de LLMs. Un análisis teórico con respaldo experimental.
Skill-RM: Unificando Criterios Heterogéneos con Habilidades de Agente
Skill-RM unifica criterios heterogéneos usando habilidades de agente para optimizar LLMs en entrenamiento posterior. ¡Prueba el nuevo modelo!
Composición LoRA multiconcepto sin entrenamiento con ponderación por prompt
Aprende a combinar LoRAs sin entrenamiento con ponderación por prompt para lograr composiciones de múltiples conceptos con alta fidelidad.
Neuronas QIF mejoran el descenso por gradiente en redes de picos
Las neuronas QIF ofrecen paisajes de pérdida menos fragmentados y superan a las LIF en descenso por gradiente exacto. Descubre los resultados.
R2DN: Parametrización escalable de redes recurrentes contractivas y Lipschitz
R2DN acelera entrenamiento e inferencia hasta 10 veces, manteniendo estabilidad y robustez. Ideal para control y sistemas no lineales.
MuLoCo: Muon como optimizador interno práctico para DiLoCo
Descubre MuLoCo, el optimizador con Muon que supera a DiLoCo, permite mayores batch sizes y mejor escalabilidad en entrenamiento de modelos de lenguaje.
ParaBlock: Aprendizaje Federado con Bloques Coordinados en Paralelo
Descubre ParaBlock: una técnica innovadora que acelera el aprendizaje federado de grandes modelos de lenguaje al paralelizar comunicación y computación, manteniendo el rendimiento.
Algoritmo multifidelidad adaptativo para aprendizaje automático eficiente
Descubre cómo nuestro algoritmo adaptativo multifidelidad reduce hasta 30 veces los costos de generación de datos en química cuántica, mejorando la eficiencia del machine learning.
Protocolos de evaluación con pruebas de aceptación para LLM empresariales
Aplica protocolos de evaluación basados en pruebas de aceptación para sistemas LLM seguros, confiables y alineados con el negocio.
WRIT: Trayectorias intensivas en escritura-lectura para agentes multi-turno
WRIT genera trayectorias sintéticas para entrenar agentes multi-turno con decisiones basadas en evidencia, y con solo 2K ejemplos supera a GPT-5.1.
Echelon: Agregados auditables para adaptación de modelos entre fronteras
Descubre cómo Echelon permite adaptar modelos de lenguaje entre organizaciones sin exponer datos, usando solo agregados auditables.
Preentrenamiento de modelos de lenguaje en textos históricos
Descubre TypewriterLM, un modelo de lenguaje de 7.24B parámetros entrenado con textos anteriores a 1913. Supera desafíos de calidad y fuga temporal.
MUSE: Un arnés agéntico unificado para MLLMs
Potencia MLLMs con MUSE, un arnés agéntico unificado que mejora tareas complejas sin reentrenar, usando verificación y reparación guiada.
ROBUST-WT: Segmentación robusta con blanqueamiento y mejoras
ROBUST-WT introduce cuatro mejoras clave en el entrenamiento de segmentación médica, logrando un Dice de 0.956 en disco óptico. ¡Conócelas!
ASymPO: Optimización Asimétrica para Post-Entrenamiento Asíncrono de LLMs
Descubre cómo ASymPO optimiza el post-entrenamiento asíncrono de LLMs sin probabilidades de comportamiento, mejorando estabilidad y rendimiento.
Libra: Gestión eficiente de recursos en post-entrenamiento RL agéntico
Optimiza la gestión de recursos en post-entrenamiento de RL agéntico con Libra. Logra hasta 3x más throughput y convergencia 2.5x más rápida.
Regret Pre-training: Uniendo conocimiento previo y futuro
Regret Pre-training: nuevo método que usa información futura para mejorar modelos de lenguaje. Logra un 33.9% de precisión en 9 tareas. ¡Sin parámetros extra!
GuidedBridge: Mejora de modelos puente sin entrenamiento con guía previa
Prior Guidance (PG) y FMPG: mejora modelos puente de traducción de imágenes sin entrenamiento, usando guía previa y modulación de frecuencias. Ideal para inpainting.
AugMask: entrenamiento de modelos de difusión con datos tabulares incompletos
Descubre AugMask: entrena modelos de difusión en datos tabulares incompletos con aumento estocástico. Mejora la generación de datos.