Mitigando la distorsión en atención de LLMs para razonamiento en grafos
Descubre cómo la distorsión estructural en atención de LLMs perjudica el razonamiento en grafos y cómo GaLA lo corrige. Mejora sin sobrecarga.
#ancho de banda
Entrenamiento Paralelo Eficiente en Ancho de Banda con Mezclas de Subespacios
Descubre cómo mezclas de subespacios comprimen la comunicación un 95% para entrenar modelos de lenguaje con contextos de 100K tokens, incluso en redes lentas.
MASK: Planificación K-Semántica para Robótica 6G Sensible al Riesgo
MASK: sistema de planificación semántica multiagente para robótica 6G que optimiza el espectro y mantiene rendimiento con acceso limitado.
Unificar comunicaciones y actualizaciones locales en preentrenamiento de LLMs
GASLoC unifica comunicaciones y actualizaciones locales para preentrenar LLMs. Supera algoritmos descentralizados y compite con DiLoCo en eficiencia.
¿Qué tan profundos son realmente los GPs profundos?
Descubrimos el umbral crítico que define si los procesos gaussianos profundos colapsan o convergen a distribuciones no gaussianas e interesantes. ¡Lee más!
Multi-SPIN: inferencia especulativa multiacceso para generación cooperativa de tokens en el borde
Multi-SPIN acelera la generación de tokens combinando modelos pequeños en dispositivos con LLM en servidores edge. Mejora el goodput hasta un 88%.