Flatland: Las aventuras del descenso de gradiente con pasos grandes
Descubre cómo el descenso de gradiente con pasos grandes opera en el borde de estabilidad, logrando convergencia no monótona y mejorando la generalización.
#entrenamiento
Preentrenamiento con datos limitados: regularización mejorada y leyes de escalado
La regularización MIR y la ley SoftQ mejoran el preentrenamiento con datos limitados, equivalente a 1.3 veces más datos.
GRASP: Alineación Residual Geométrica para Atribución de Datos Escalable
GRASP: nuevo método de atribución de datos que duplica la precisión y reduce costos en entrenamiento de IA.
Pretraining de modelos de lenguaje con datos limitados: regularización y escalado
Nuevo estudio propone regularización MIR y ley de escalado SoftQ para pretraining con datos limitados, logrando mejoras equivalentes a 1.3x más datos únicos.
GRASP: Alineación Residual Geométrica para Atribución Escalable
Descubre GRASP, un método innovador que modela interacciones entre subconjuntos para optimizar la atribución de datos en preentrenamiento a gran escala. Mejora eficiencia y precisión.
TALAN: Adaptación Latente Alineada a Tareas para Post-Entrenamiento de LLMs
TALAN mejora el post-entrenamiento de LLMs: razonamiento y código sin perder fortalezas. Solo 1% parámetros extra. ¡Descubre!
TALAN: Adaptación Latente Alineada con Tareas para Post-Entrenamiento de LLMs
TALAN mejora razonamiento y código en LLMs con una vía lateral latente. Solo 1% de parámetros adicionales, supera a LoRA y DoRA en benchmarks STEM.
RASFT: Ajuste Fino Adaptativo con Rollout para Razonamiento
Descubre RASFT, un nuevo método de fine-tuning que combina supervisión experta con rollouts adaptativos para mejorar el razonamiento en modelos de lenguaje. Res
Más allá de los regímenes lineales: Autoencoders con cuello de botella
Descubre cómo el análisis de campo medio explica el entrenamiento de autoencoders no lineales con cuello de botella y su convergencia al óptimo.
Generación musical con datos limitados: entrenamiento consciente de puntuación
Descubre cómo el entrenamiento consciente de puntuación permite generar música de alta calidad con pocos datos. Nuestro modelo FluxAudio rankeó 2° en ICME 2026.
Entrenando un MoE disperso de 120B con escalado reversible
Aprende a entrenar un MoE de 120B parámetros en un solo nodo GPU usando escalado reversible y cuantización. Optimiza memoria y alcanza pérdida de 1.78.
Entrenamiento consciente de puntuación para generación musical con texto
Descubre cómo el entrenamiento consciente de puntuación permite generar música de alta calidad con pocos datos. Nuestro modelo FluxAudio logró el 2º puesto en ICME 2026.
Fundamentos Reversibles: Escalado de Preservación de Estado para MoE de 120B
Entrena un MoE de 120B en una sola máquina con 8 GPUs usando reversibilidad y escalado preservador de estado. Eficiencia sin precedentes.
Aprendizaje de sistemas dinámicos no lineales controlados de alta dimensión (I)
Descubre cómo las neural ODEs unifican modelos dinámicos y deep learning, con teoría de campos medios para entrenamiento en alta dimensión.
AdaGRPO: Mejora adaptativa consciente de la capacidad para GRPO basado en flujo
Descubre AdaGRPO: algoritmo de RL adaptativo para modelos de flujo T2I. Mejora selección de prompts y estimación de ventajas. ¡Optimiza tu entrenamiento!
Twin: ajuste de tasa de aprendizaje y decay sin validación
Twin ajusta LR y weight decay sin validación, logrando error absoluto medio del 1.28%. Ideal para datos escasos o imágenes médicas. ¡Optimiza!
Robustez certificada contra envenenamiento datos en entrenamiento con gradientes
Descubre cómo certificar la robustez de modelos de IA contra envenenamiento de datos. Garantías formales para entrenamiento con gradientes.
EASE-TTT: Entrenamiento selectivo en tiempo de prueba para QA largo
Descubre cómo EASE-TTT alinea la atención con evidencia para mejorar la precisión en preguntas de contexto largo usando modelos pequeños.
Efecto de la reparametrización con campos neuronales en 4DVAR
Descubre cómo la reparametrización con campos neuronales estabiliza 4DVAR sin datos de entrenamiento, mejorando precisión y velocidad en asimilación de datos.
Auditoría de datos de entrenamiento en LLMs adaptados con LoRA-MINT
Descubre cómo LoRA-MINT audita datos de entrenamiento en LLMs adaptados, detectando pertenencia con alta precisión. Mejora transparencia y privacidad en IA.