PolyKV: Compresión Heterogénea de Caché KV
Descubre cómo PolyKV optimiza la compresión de caché KV en LLMs, recuperando hasta un 54.5% del rendimiento perdido en LongBench con presupuesto fijo.
#asignación heterogénea
Descubre cómo PolyKV optimiza la compresión de caché KV en LLMs, recuperando hasta un 54.5% del rendimiento perdido en LongBench con presupuesto fijo.