Atención por capas eficiente: poda de recuperaciones redundantes
Descubre cómo ELA, usando divergencia KL y mapeo cuantil beta, reduce un 30% el tiempo de entrenamiento al podar capas redundantes en atención por capas.
#entrenamiento
Cómo el escalamiento en inferencia beneficia el preentrenamiento generativo
El escalamiento en inferencia mejora el preentrenamiento generativo, superando la falsa dicotomía entre autoregresión y difusión.
Red ligera contextual sin entrenamiento para texto en escenas
Descubre cómo una red ligera y sin entrenamiento logra segmentar y reconocer texto en escenas con alta eficiencia, reduciendo costos computacionales y manteniendo precisión.
Paralelismo de Modelos con Subredes de Datos
Descubre cómo el Subnetwork Data Parallelism reduce el uso de memoria en un 28-60% al entrenar modelos de IA, manteniendo el rendimiento. ¡Optimiza tu entrenamiento distribuido!
Meta-conciencia en modelos de razonamiento con recompensas predictivas
Descubre cómo MAPR usa recompensas predictivas para aumentar la precisión en modelos de razonamiento, acelerando el entrenamiento GRPO hasta 1.28x.
R3-CoVR: marco zero-shot de razonamiento para videos compuestos
Descubre R3-CoVR, un marco zero-shot sin entrenamiento que alcanza 91.9% R@1 en recuperación de videos compuestos mediante razonamiento multimodal y reordenamiento.
Ajuste de ejemplos a clases lógicas en estructuras infinitas
Descubre cómo determinar si un conjunto de datos se ajusta a una hipótesis lógica en estructuras infinitas. Análisis de complejidad y uso de consultas naturales para clasificar muestras.
Aprendizaje por imitación sin entrenamiento con políticas de difusión cerradas
Aprendizaje por imitación sin entrenamiento: políticas de difusión cerradas logran inferencia en tiempo real en CPU móvil con rendimiento competitivo.
Localización auto-mejorada de objetos pequeños en LVLMs
Descubre la auto-mejora en localización de objetos pequeños con LVLMs usando atención: hasta 19% de mejora sin ajuste fino.
No dejes que fallos de red ralenticen todo el AllReduce
Descubre OptCC: el algoritmo que evita que los fallos de red ralenticen AllReduce en clusters GPU, con rendimiento cercano al óptimo.
Minimización adaptativa de nitidez con paso Polyak: planificador teórico
Descubre cómo el algoritmo SAM con paso Polyak mejora la generalización y reduce el ajuste de hiperparámetros, con garantías de convergencia teórica.
Anclaje de Contexto Resonante: Desacoplando Atención y Señal en Inferencia
Descubre cómo el Anclaje de Contexto Resonante (RCA) reduce alucinaciones en LLMs sin sacrificar fluidez, una técnica ligera de inferencia.
Ley de escalado de datos para meta-aprendizaje con minimización de complejidad
Descubre cómo la minimización de complejidad demuestra que el meta-aprendizaje escala con datos, mejorando la eficiencia en pocos ejemplos.
Redes Neuronales Recurrentes Guiadas por Física para Predicción Multietapa
Descubre cómo las redes neuronales recurrentes guiadas por física mejoran la predicción multietapa, incluso con datos limitados y modelos imperfectos.
Descenso Espejo Bajo Suavidad Generalizada
Descubre cómo el descenso espejo se adapta a suavidad generalizada para optimizar objetivos no suaves, con aplicaciones en entrenamiento de LLMs. ¡Conoce las nuevas garantías de convergencia!
Un marco Bayesiano unificador para la robustez adversarial
Aprende cómo un marco Bayesiano unificador permite defensas proactivas y reactivas contra ataques adversariales, mejorando la seguridad de la IA.
Exploración de diseño de superposición granular de cómputo y comunicación basada en DMA
La superposición granular de cómputo y comunicación con DMA acelera hasta 1.6x el entrenamiento ML en GPUs. Heurísticas precisas para elegir el plan óptimo.
PFT: Ajuste fino de fonones para potenciales interatómicos con IA
Descubre cómo PFT mejora un 55% las propiedades fonónicas de materiales al ajustar potenciales interatómicos con IA. Nuevo estándar en simulaciones.
Relación señal-ruido no uniforme en REINFORCE
Descubre cómo la relación señal-ruido no uniforme en el estimador REINFORCE causa inestabilidad y colapso durante el entrenamiento en RL.
NestRL: Régimen de entrenamiento anidado para equipo humano-IA
NestRL optimiza la colaboración humano-IA mediante entrenamiento anidado, logrando mayor adaptabilidad y rendimiento frente a métodos tradicionales en Overcooked.