Pesos de Contribución: Análisis Geométrico de Transformers de Autoatención
Los Pesos de Contribución ofrecen una métrica más fiel que la atención para identificar tokens clave en LLMs. Revelan el rol activo de los sinks de atención.
#importancia de tokens
Aprendiendo qué olvidar: mejora del unlearning en LLMs
Descubre cómo ATWU mejora el desaprendizaje en LLMs aprendiendo importancia de tokens sin supervisión, logrando equilibrio óptimo entre olvido y retención.
OBCache: poda óptima de caché KV para LLMs de contexto largo
Descubre OBCache, la técnica de poda de caché KV que optimiza la memoria en LLMs para inferencia en contextos largos sin sacrificar precisión.