¿De dónde surge la posición absoluta en Transformers decoder-only?
A pesar de codificar solo desplazamientos relativos, los Transformers con RoPE filtran posición absoluta. El artículo revela dos fuentes: causal mask y residual stream. Descúbrelo.
#decoder-only
AlignAtt4LLM: Traducción simultánea con LLMs decoder-only
AlignAtt4LLM logra traducción simultánea inglés-alemán/italiano con baja latencia aplicando AlignAtt en LLMs solo decodificador. Resultados superiores.