¿De dónde surge la posición absoluta en Transformers decoder-only?
A pesar de codificar solo desplazamientos relativos, los Transformers con RoPE filtran posición absoluta. El artículo revela dos fuentes: causal mask y residual stream. Descúbrelo.
#flujo residual
DRIFT: Adaptador de flujo residual para salidas continuas en modelos de lenguaje visual
Descubre cómo DRIFT adapta modelos de visión-lenguaje para generar salidas continuas con precisión, mejorando tareas como grounding visual y control robótico.
DRIFT: Adaptador de flujo residual para salidas continuas en VLMs
DRIFT adapta modelos VLM para salidas continuas con un adaptador de flujo residual, mejorando precisión en percepción y control robótico.
Colapso de flujo en hiperconexiones: diagnóstico y mitigación
Diagnóstico y mitigación del colapso de flujo en hiperconexiones de modelos Transformer. Aprende a romper la simetría y mejorar el rendimiento.
La forma de la suma: estructuras geométricas de la aritmética en LLMs
Descubre cómo los LLMs representan la suma geométricamente y por qué cometen errores. Un nuevo estudio revela la estructura oculta de la aritmética.
HARVE: Edición de Vector de Recompensa para Robustez ante Hacking
Descubre HARVE, un método sin entrenamiento que edita el vector de recompensa para eliminar el reward hacking en modelos de lenguaje. Mejora robustez sin perder capacidad.
Acoplamiento de Subespacios para Compresión de LLM: Límites Empíricos
La optimización conjunta de capas en compresión de LLMs fracasa. El flujo residual desacopla las capas, haciendo clave la reconstrucción por capas.
PrismFlow: Dinámica Residual para el Acoplamiento de Flujos en la Generación de Series Temporales
<meta name=description content=PrismFlow utiliza dinámica residual para acoplar flujos en series temporales, mejorando predicciones multivariadas con precisión y escalabilidad.>