Complejidad muestral de tokens en atención
Analizamos la tasa de convergencia de la atención al procesar secuencias largas de tokens y su impacto en la precisión. Datos sintéticos y reales.
#largas
Dinámicas de integración en RNN lineales
Aprende cómo las RNN lineales adquieren la capacidad de integrar ruido blanco, revelando la dinámica de autovalores que posibilita la memoria a largo plazo. Clave para IA y neurociencia.
Recomendación de videos: IDs semánticos y secuencias largas
Descubre cómo los IDs semánticos y un transformador de compresión global reducen costos y escalan la recomendación de videos cortos a miles de millones de usuarios.
AdMem: memoria avanzada para agentes de tareas
AdMem integra memoria semántica, episódica y procedural en un sistema bi-nivel para que agentes de IA resuelvan tareas largas con mayor robustez y escalabilidad. ¡Descubre cómo!
EASE-TTT: Entrenamiento selectivo en tiempo de prueba para QA largo
Descubre cómo EASE-TTT alinea la atención con evidencia para mejorar la precisión en preguntas de contexto largo usando modelos pequeños.
TokenMizer: Memoria de sesión con grafos para contexto de LLM
TokenMizer reduce el consumo de tokens hasta un 50% y preserva la estructura de sesiones de LLM con grafos tipados. Mayor precisión en decisiones.
Preentrenamiento de Redes Recurrentes sin Recurrencia
Descubre SMT: un método que entrena redes recurrentes sin recurrencia, en paralelo, con gradientes estables y mejor captura de dependencias largas para modelos de lenguaje.
POLARIS: Guiando modelos pequeños a escribir historias largas
POLARIS entrena modelos pequeños (9B) para escribir historias largas y de calidad, usando un juez LLM y referencias humanas. Compite con modelos mucho mayores.
AdaCoM: Gestión adaptativa de contexto para agentes LLM
Descubre AdaCoM, un método de gestión de contexto adaptativo que mejora el rendimiento de agentes LLM en tareas largas, preservando restricciones y comprimiendo contenido obsoleto.
EuroBERT: Escalando Codificadores Multilingües para Lenguas Europeas
Descubre EuroBERT, la nueva familia de codificadores multilingües. Supera a alternativas en recuperación, clasificación y más. Soporta 8,192 tokens.
Detección contextual de habla para niños en grabaciones largas
Detección contextual de habla infantil en grabaciones largas: modelos auto-supervisados logran +13.8% F1, superando a sistemas basados en reglas en múltiples idiomas.
Reescalado adaptativo monótono sin hiperparámetros para colas largas
Nuevo método SAMN elimina hiperparámetros en reescalado adaptativo monótono para colas largas. Resultados SOTA en benchmarks.
TRACE: Compresión de Riesgos en Trayectorias para Seguridad de Agentes
TRACE comprime evidencia de riesgo en trayectorias de agentes para mejorar la seguridad en tareas de largo plazo. ¡Alta precisión!
¿Por qué los modelos de series temporales necesitan ventanas largas?
Descubre por qué las ventanas de contexto largas mejoran la precisión en modelos de series temporales al reducir la incertidumbre sobre el proceso generativo. Ideal para IA y forecasting.
WaveFilter: Filtrado guiado por wavelets para contexto largo en LLMs de difusión
WaveFilter mejora el rendimiento de LLMs de difusión en contexto largo mediante filtrado guiado por wavelets del caché KV.