No seas tan Stief: optimización de KV Cache en la variedad de Stiefel
Descubre cómo StiefAttention comprime el caché KV con aproximación de rango bajo en la variedad de Stiefel, mejorando precisión y eficiencia en modelos de lenguaje.
#rango bajo
LASER: SVD consciente de pérdida y asignación de rango para modelos VL
Descubre cómo LASER logra una aceleración 2.3x en modelos visión-lenguaje con baja precisión, usando SVD consciente de pérdida y asignación de rango.
G2LoRA: Adaptación de gradiente ortogonal para aprendizaje continuo en grafos
G2LoRA: marco que combina gradiente ortogonal y aprendizaje continuo para evitar el olvido catastrófico en grafos textuales. ¡Pruébalo!