Robo de modelos a través del lente de la multiplicidad
Descubre cómo la multiplicidad de modelos revela que los sustitutos de alta fidelidad no son equivalentes al original, afectando seguridad y equidad.
#delos
MoECa: Alineando Reutilización de Características con Expertos en Difusión
MoECa acelera hasta 2.83x la inferencia de Transformers de Difusión con Mixture of Experts, manteniendo la calidad.
Re-alimentación vs reproducción: ruido en crédito contrafactual de tokens
Re-alimentar el prompt introduce ruido en crédito contrafactual, afectando selección de tokens. Estudio vLLM revela diferencias hasta 28pp.
Ajuste fino federado consciente de conflictos en LLMs con MoE
Aprende cómo el marco FC-MoE resuelve conflictos en el ajuste fino federado de modelos de lenguaje grandes con mezcla de expertos, mejorando convergencia y
Mitigando la distorsión en atención de LLMs para razonamiento en grafos
Descubre cómo la distorsión estructural en atención de LLMs perjudica el razonamiento en grafos y cómo GaLA lo corrige. Mejora sin sobrecarga.
HAPI-EP: Gemelos Digitales Híbridos, Adaptativos y Predictivos
HAPI-EP: marco de IA para gemelos digitales cardíacos híbridos, adaptativos y predictivos. Se adapta en tiempo real a datos del paciente.
MosaicQuant: Cuantización unificada 4-bit con desagregación de inliers-outliers
Descubre MosaicQuant: cuantización 4-bit unificada que preserva precisión casi FP16 y acelera hasta 1.24x en LLMs. ¡Optimiza tu inferencia!
ReQAT: Precisión completa con cuantificación FP4
Descubre ReQAT, el método que logra precisión completa en modelos de razonamiento grandes con cuantificación FP4, reduciendo costos y acelerando el rendimiento
Ajuste fino federado consciente de conflictos para LLMs con MoE
Descubre cómo FC-MoE optimiza el ajuste fino federado de LLMs con mezcla de expertos, resolviendo conflictos entre clientes para acelerar la convergencia y
Poda de expertos MoE: formulación unificada y selección
Optimiza modelos MoE con poda de expertos de un solo disparo: conoce la formulación unificada y los criterios MAN y MSAN que logran hasta 8.8 puntos de mejora.
Aprendizaje no supervisado para modalidades faltantes en aprendizaje multimodal
Descubre cómo UL4M4 imputa modalidades faltantes en aprendizaje multimodal usando clustering no supervisado, logrando F1 >0.7 incluso con más del 50% de datos
ReQAT: Precisión completa con cuantificación FP4 en entrenamiento
ReQAT logra precisión de razonamiento completa usando cuantificación FP4 de 4 bits, con aceleración de hasta 3.9x en NVIDIA DGX Spark. Descubre cómo.
Decodificación paralela de campo medio en difusión discreta
Coordinación de actualizaciones paralelas en modelos de difusión para mejorar calidad y latencia en generación de texto y código. Descubre cómo.
Multi-Fidelity SINDy: Identificación dispersa de sistemas dinámicos no lineales
Descubre cómo Multi-Fidelity SINDy mejora la identificación de sistemas dinámicos no lineales usando datos de baja y alta fidelidad.
Cómo seleccionar expertos para poda MoE: formulación unificada
¿Quieres reducir memoria en modelos MoE sin perder rendimiento? Descubre un principio de selección unificado que mejora hasta 8.8 puntos en benchmarks.
Aprendizaje no supervisado para modalidades faltantes en aprendizaje multimodal
Descubre cómo UL4M4 imputa embeddings faltantes en aprendizaje multimodal mediante clustering no supervisado, logrando F1 >0.7 incluso con >50% de datos
Decodificación paralela de campo medio para modelos de difusión
Mejora la eficiencia de modelos de difusión discretos con decodificación paralela de campo medio. Coordina actualizaciones para generar más tokens por paso sin
David vs Goliat: Argmax supera a LSTM, Transformer y LLMs
¿Un simple contador supera a modelos de IA? Este benchmark revela que argmax iguala o supera a LSTM, Transformer y LLMs.
Aprendizaje por refuerzo para pronóstico de eventos con LLMs
Descubre cómo GRPO entrena LLMs para predecir eventos reales, logrando que un modelo de 1.5B supere a Claude Sonnet 3.5. Resultados sorprendentes.
Rastreo de circuitos en modelos de lenguaje de proteínas autoregresivos
Aprende cómo ProGenMech descubre circuitos neuronales en modelos de proteínas para mejorar la generación y predicción de fitness.