AnchorKV: Compresión segura de caché KV con penalización suave
Descubre AnchorKV, un método innovador para comprimir la caché KV de LLMs que mejora la seguridad frente a ataques jailbreak sin perder rendimiento. Ideal para
#clave-valor
Q-Delta: Más allá de la evolución asociativa clave-valor
Descubre Q-Delta, regla delta que integra errores de predicción clave-consulta en evolución de estado, mejorando eficiencia y precisión en atención lineal.
Re-alimentación vs reproducción: ruido en crédito contrafactual de tokens
Re-alimentar el prompt introduce ruido en crédito contrafactual, afectando selección de tokens. Estudio vLLM revela diferencias hasta 28pp.
IntentKV: poda inteligente de caché KV para agentes de IA
Descubre IntentKV, una técnica que poda la caché KV sin perder precisión, reduciendo un 92% el consumo de memoria en agentes LLM. Ideal para sistemas multi-turno.
Query Lens: cómo interpretar características dispersas con efectos indirectos
Descubre Query Lens, un nuevo método que va más allá de Logit Lens para interpretar características de autoencoders dispersos, considerando efectos indirectos y la hipótesis del subespacio.
Procesos Neuronales Transformer Incrementales
Aprende sobre incTNP: el modelo que permite actualizaciones incrementales en procesos neuronales transformer, logrando eficiencia lineal y rendimiento comparable o superior.