SEMixer: Mezclador MLP semántico para pronóstico a largo plazo
Descubre SEMixer, un modelo ligero que integra semántica multiescala para mejorar el pronóstico de series temporales a largo plazo. Resultados destacados en el CCF AlOps Challenge.
#mezcla
Formulación Biconvexa para Transporte Estable de Modelos de Mezcla
Descubre cómo el Transporte Óptimo de Mezclas (OMT) revoluciona el mapeo entre distribuciones con una solución única y estable. Ideal para big data y bioinformática.
CHaRS: Dirección de Representación Consciente de Heterogeneidad
CHaRS: un nuevo enfoque de dirección de representación que usa transporte óptimo para adaptarse a la heterogeneidad de conceptos en LLM, mejorando el control del comportamiento.
IntraShuffler: Marco de Privacidad para Aprendizaje Federado con DP Heterogéneo
IntraShuffler protege la privacidad en aprendizaje federado con DP heterogéneo, reduciendo ataques de inferencia sin perder utilidad.
Mezcla dinámica proxy: ajuste continuo de modelos de lenguaje
PROXYMIX utiliza mezcla dinámica proxy para transferir controladores de repetición, mejorando precisión y seguridad en el ajuste continuo de instrucciones.
GC-MoE: Estimación de Transcripción Espacial de Célula Única desde Histología
GC-MoE utiliza mezcla de expertos guiada por genómica para predecir expresión génica por célula desde histología, mejorando la precisión en transcripción espacial.
Representación de mezcla de densidades para eliminar puntos voladores en profundidad
MDA elimina puntos voladores en estimación de profundidad usando mezcla de densidades. Mejora bordes, maneja objetos transparentes y cielo sin coste adicional.
Mezcla de Expertos en GNN Condicionada por Grafos para Pronóstico de Tráfico
GC-MoE asigna expertos congelados personalizados a cada nodo vial, mejorando precisión en pronóstico de tráfico con solo 17K parámetros.
DTop-p MoE: Control dinámico de esparcidad en preentrenamiento de modelos
Descubre DTop-p MoE, un nuevo mecanismo de enrutamiento dinámico que aprende el umbral de probabilidad para controlar la esparcidad, superando a Top-k y Top-p fijo en modelos fundacionales.
Convergencia lineal local en mezclas gaussianas sobreparametrizadas
Descubre cómo los métodos de gradiente logran convergencia lineal en mezclas gaussianas sobreparametrizadas, superando la lentitud tradicional. Leer más.
Enrutamiento Variacional: Marco Bayesiano Escalable para Transformers MoE
Descubre VMoER, un marco bayesiano que mejora la incertidumbre en MoE con un 94% menos error y solo 1% más de FLOPs.
El mecanismo de mezcla rápida para privacidad diferencial
Conoce el mecanismo de mezcla rápida para privacidad diferencial que acelera la regresión lineal sin comprometer precisión. ¡Ideal para datos sensibles!
Mezcla de Comportamiento con Región de Confianza para Destilación On-Policy
Descubre cómo TRB mejora la destilación on-policy con mezcla de comportamientos y región de confianza, logrando mejores resultados en razonamiento matemático.