Repensando descomposiciones tensoriales en compresión post-entrenamiento de LLMs
Descubre por qué descomposiciones tensoriales tienen limitaciones en la compresión de LLMs y cómo afectan a modelos densos y MoE. Análisis teórico y práctico.
#presentaciones
Recuperación del modelo del mundo en planificadores LLM ajustados
¿Aprenden los LLM a representar el modelo del mundo al planificar? Este análisis revela cómo el ajuste supervisado codifica la validez de acciones y predicados.
Formalizando el problema de vinculación en visión artificial
Formalizamos el problema de vinculación en visión artificial. Mide la información de vinculación en Vision Transformers para mejorar el reconocimiento.
Representaciones Coherentes: Enfoque Topológico para Interpretabilidad
Nueva técnica: coherencia geométrica para interpretar redes neuronales. Aplicaciones en BERT y autoencoders.
Redes neuronales: aprendizaje demostrable de representaciones espectrales de grupos
Descubre cómo las redes neuronales aprenden representaciones espectrales de grupos, convergencia demostrable a irreducibles y compresión de bajo rango.
El acierto hace la fuerza: alinear estados ocultos para RL
Hidden-Align alinea estados ocultos en modelos de lenguaje, mejorando el razonamiento matemático hasta un 6.2% en benchmarks. Técnica innovadora de RL.
IdEst: Evaluando Representaciones SSL con Dimensión Intrínseca
Descubre cómo IdEst, basado en dimensión intrínseca, evalúa representaciones SSL de forma eficiente, reduciendo costos computacionales y sin necesidad de etiquetas.
IdEst: dimensión intrínseca para evaluar representaciones SSL
IdEst evalúa representaciones SSL con dimensión intrínseca: métrica geométrica que correlaciona con el rendimiento downstream. Ahorra tiempo en evaluación.
Cuando los tokens de grafo se hunden: análisis mecanicista
Los tokens de grafo tienen alta activación pero baja utilidad semántica. Este análisis mecanicista revela la desconexión en modelos de lenguaje de grafos.
CoralBay: modelo base de TC con auto-supervisión
Descubre CoralBay, modelo auto-supervisado para TC que aprende representaciones 3D. Mejora el diagnóstico radiológico con un nuevo benchmark.
Similitud funcional con ensamblado consciente de invarianza
Descubre cómo la invarianza en el ensamblado de modelos revela discrepancias funcionales ocultas y mejora la evaluación de similitud en deep learning.
TIDFormer: explotando dinámica temporal e interactiva en grafos dinámicos
Descubre cómo TIDFormer revoluciona el análisis de grafos dinámicos con su mecanismo de atención eficiente e interpretable, superando modelos previos.
QUIVER: Vistas Cuánticas para Representaciones en Grandes Modelos ML
QUIVER incorpora vistas cuántico-informadas para mejorar representaciones en grandes modelos de ML, ofreciendo mejoras medibles en QM9 y JetClass.
EntangleCodec: Tokenizador de Audio Unificado con Entrelazamiento Semántico-Acústico
Descubre EntangleCodec, el tokenizador de audio que unifica semántica y acústica. Mejora la comprensión de audio en un 7.4% y escala desde 0.6B a 8B parámetros, superando modelos mucho más grandes.
Replanteando representaciones textuales moleculares para LLMs: Estudio empírico
Estudio empírico revela que ninguna representación molecular es universalmente mejor para LLMs. Descubre cuál usar según la tarea química.
Generación procedural de mapas FPS usando MAP-Elites
Aplicamos MAP-Elites para generar mapas FPS con nuevas representaciones. Resultados: mayor diversidad y calidad en niveles. ¡Descúbrelo!
Composición Secuencial de Grupos: Una Ventana a la Mecánica del Deep Learning
Composición secuencial de grupos: una ventana a la mecánica del deep learning. Descubre cómo redes neuronales aprenden operaciones estructuradas.
Aprendizaje de Valor Suavizado en Aprendizaje por Refuerzo
Aprende cómo MVL usa suavizado espacial para estimación de valor estable en RL offline, mejorando navegación y manipulación robótica.
El grafo como regularización natural: revisitando la cuantización vectorial
Descubre cómo RGVQ evita el colapso del codebook en grafos usando regularización topológica y contrastiva para tokens más expresivos.
Repensando Representaciones Neurales Amortizadas para Terreno de Alta Resolución
Descubre cómo HUVR+SIREN logra mayor fidelidad en terrenos de alta resolución sin almacenamiento extra. Benchmark revela claves.