Control no lineal de activaciones mediante transformaciones latentes invertibles
Descubre INNSteer: control no lineal de LLMs con transformaciones latentes invertibles que mejora precisión y fluidez sin comprometer la inferencia.
#activaciones
INNSteer: Control no lineal de LLMs con transformaciones latentes
INNSteer revoluciona el control de modelos de lenguaje al aplicar transformaciones invertibles en el espacio latente, logrando intervenciones no lineales adaptables a cada entrada.
Transformaciones geométricas de la verdad en LLMs según el contexto
Estudio revela cómo el contexto modifica geométricamente las representaciones de verdad en LLMs. Cambios direccionales y de magnitud separan verdad de falsedad.
TimpaTeks: Modificación automática de texto in situ con modelos de difusión
Descubre TimpaTeks, una técnica automática para modificar texto en su lugar usando modelos de lenguaje difusivos. Reduce perplexidad y mantiene la estructura sin entrenamiento adicional.
PRISM: Recuperando conjuntos de instrucciones de activaciones
PRISM decodifica las instrucciones activas en modelos de lenguaje. Un nuevo enfoque para monitorizar agentes de IA ante inyecciones y objetivos ocultos.
Steering geométrico en modelos de lenguaje: descomposición ángulo-norma
Descubrimos que el control de modelos de lenguaje depende de la interacción entre ángulo y norma. Explicamos por qué los métodos de steering difieren y proponem
OffQ: Domando outliers en cuantificación de LLMs
Descubre cómo OffQ mitiga los outliers en activaciones para lograr una cuantización W4A4KV4 eficiente sin perder precisión en LLMs.
De Hackeos de Recompensa a Estados de Riesgo: Monitoreo Contextual en Agentes
Aprende cómo la calibración por contexto y la entropía mejoran la detección de riesgos en agentes LLM frente a hackeos de recompensa.
Concept-SAE: Interfaz de Conceptos Controlable e Invertible
Descubre cómo Concept-SAE controla conceptos específicos en modelos de IA, mejorando interpretabilidad y detección adversarial.
Compresión de bajo rango guiada por Pareto y activaciones para LLM/VLM
Optimiza LLM/VLM con compresión de bajo rango informada por activaciones y guiada por Pareto. Logra mayor eficiencia sin sacrificar precisión.
Aprendizaje de compresión de subespacios para paralelismo eficiente en pipeline
MAPL comprime activaciones en paralelismo de tubería con proyecciones ortogonales aprendidas, reduce comunicación sin pérdida de rendimiento en modelos LLaMA.
Mitigando la maldición de la dimensionalidad con activaciones suaves
Aprende cómo las redes neuronales con activaciones suaves mitigan la maldición de la dimensionalidad, garantizando convergencia uniforme y robustez en regresión. ¡Entra!
Aprendizaje activo basado en activaciones: desafíos en aprendizaje en contexto
¿Las activaciones de MLP mejoran el aprendizaje en contexto? Un estudio revela que no. Conoce los hallazgos y el futuro con autoencoders dispersos.
Capacidades y limitaciones de redes neuronales reales en espacios complejos
Descubre la relación asintótica entre capacidades de redes neuronales reales y complejas en espacios complejos usando la fórmula HCIZ.
STaR-Quant: Cuantificación post-entrenamiento para modelos de lenguaje difusos
STaR-Quant mejora la cuantificación de baja precisión en DLLMs, logrando 1.69x aceleración y 3.14x ahorro de memoria sobre FP16. Descubre cómo optimizar tu modelo.
QuBLAST: Cuantización con Compresión por Bloques y Escalado de Activaciones
Descubre QuBLAST, un framework que reduce el tamaño de LLMs hasta un 45% mediante cuantización por bloques y escalado de activaciones, sin perder rendimiento.
Direccionamiento de activaciones en modelos de video con control óptimo reducido
Aprende cómo el método LA-LQR dirige modelos de video reduciendo contenido dañino sin perder calidad. Control óptimo lineal de orden reducido.
Resultado negativo: transferencia de activación entre modelos Pythia
¿Puede un modelo transmitir activaciones a otro? En nuestro experimento con Pythia, la alineación no basta para comunicación causal. Resultado negativo.
Inicialización Óptima en Redes Profundas: Lyapunov y Leaky ReLU
Descubre la inicialización Lyapunov para redes Leaky ReLU: cómo lograr estabilidad en activaciones y mejorar el aprendizaje en redes profundas.
WUSH: Transformaciones Adaptativas Casi Óptimas para Cuantización de LLM
WUSH mejora la cuantización de LLMs hasta +2.8 puntos en W4A4. Transformaciones adaptativas casi óptimas para despliegue eficiente en GPU.