#softmoe

SoftMoE: Enrutamiento Suave y Diferenciable para Mezcla de Expertos en LLMs

SoftMoE introduce enrutamiento suave diferenciable en MoE, reduciendo expertos activos sin pérdida de rendimiento. Optimiza la asignación de recursos en LLMs.