DAG-MoE: De la Mezcla Simple a la Agregación Estructural en MoE
Descubre DAG-MoE: agrega estructuralmente expertos para mejorar MoE sin costos adicionales.
#moe
BitsMoE: Asignación eficiente de bits para cuantización de MoE LLM
BitsMoE asigna bits inteligentemente en MoE LLM, logrando cuantización 2 bits con 27.83% más precisión, 12.3x más rápida y 1.76x más velocidad.
ProbMoE: Enrutamiento Probabilístico Diferenciable para Mixture-of-Experts
ProbMoE: enrutamiento probabilístico para MoE con gradientes exactos y cardinalidad dinámica. Mejora eficiencia y diversidad.
DOT-MoE: transporte óptimo diferenciable para modelos MoE
Descubre DOT-MoE, un método que convierte modelos de lenguaje densos en MoE usando transporte óptimo diferenciable, manteniendo un 90% del rendimiento con un 50% menos parámetros activos.
Expertos hiperbólicos y priorizados por evidencia en LVLMs
Descubre AsyMoE: nueva arquitectura para LVLMs que reduce alucinaciones y mejora eficiencia con expertos hiperbólicos y priorización de evidencia.
MESA: Alineación de seguridad descentralizada para MoE
MESA mejora la alineación de seguridad en modelos MoE mediante la descentralización de expertos. Logra robustez sin sacrificar rendimiento.
Mellum2 se vuelve open source: modelo rápido para flujos de IA
Descubre Mellum2: modelo open source con arquitectura MoE. Ideal para routing, RAG y sub-agentes en flujos de IA. Baja latencia y costos reducidos.
Fusión de Expertos en MoE Dispersos con Nash Bargaining
Descubre cómo NAMEx, basado en teoría de juegos, mejora la colaboración entre expertos en modelos MoE, logrando mayor precisión y robustez en IA.
Mezcla de Expertos en GNN Condicionada por Grafos para Pronóstico de Tráfico
GC-MoE asigna expertos congelados personalizados a cada nodo vial, mejorando precisión en pronóstico de tráfico con solo 17K parámetros.
PithTrain: Sistema de entrenamiento MoE compacto y nativo para agentes
PithTrain: sistema MoE compacto y nativo para agentes. Iguala rendimiento de frameworks tradicionales y reduce hasta 62% interacciones de agente y 64% tiempo GPU activo.
Autovectores de expertos: enrutamiento sin colapso y sin entrenamiento
Descubre cómo SSMoE aprovecha los autovectores de los expertos para un enrutamiento sin colapso, mejorando modelos SMoE sin entrenamiento adicional.
ConMoE: Consolidación del grupo de expertos mediante reasignación de prototipos para la compresión de MoE
ConMoE: consolidación de grupos de expertos con reasignación de prototipos para compresión de MoE. Descubre cómo comprimir modelos MoE optimizando eficiencia y rendimiento.
Un modelo mínimo de bifurcación del desequilibrio de carga en un enrutador de mezcla de expertos con Softmax
<meta content=Explora el modelo mínimo de bifurcación del desequilibrio de carga en MoE con Softmax. Un análisis claro y conciso para entender este fenómeno en sistemas de mezcla de expertos.>
StepFun lanza Step 3.7 Flash: un modelo de visión-lenguaje MoE de 198B para agentes de codificación y flujos de trabajo de búsqueda.
StepFun lanza Step 3.7 Flash, modelo MoE de 198B especializado en codificación y búsqueda. Descubre su rendimiento y novedades.
FarSkip-Collective: Desbloqueando la Comunicación Bloqueante en Modelos de Mezcla de Expertos
<meta content=FarSkip-Collective optimiza la comunicación bloqueante en modelos MoE. Descubre cómo esta técnica acelera el entrenamiento y mejora la eficiencia.>
Abordando los desafíos del aprendizaje multimodal con Mezcla de Expertos: Una revisión
Descubre cómo la Mezcla de Expertos supera los desafíos del aprendizaje multimodal. Optimiza tus modelos con esta técnica innovadora.
FPMoE: Un enfoque de mezcla dispersa de expertos para la generación de código funcional
FPMoE: Mezcla Dispersa de Expertos para generación de código funcional. Modelo eficiente y preciso que optimiza la síntesis de código.
¿Hasta dónde puede llegar la desagregación? Una exploración del espacio de diseño de la desagregación de Atención-FFN para el servicio eficiente de LLM con MoE
Explora el espacio de diseño de desagregación Atención-FFN para lograr LLM MoE más eficientes. Descubre cómo esta técnica optimiza el rendimiento.
Ajuste fino alineado con el enrutamiento para tareas posteriores multilingües en modelos de mezcla de expertos
<meta name=description content=Descubre cómo el ajuste fino con enrutamiento optimiza modelos MoE para tareas multilingües. Mejora rendimiento y eficiencia en IA.>