RedKnot: Reutilización KV por cabezas para LLM de contexto largo
Descubre RedKnot: un sistema que optimiza la caché KV por cabezas para servir LLMs de contexto largo, mejorando eficiencia y escalabilidad sin reentrenar modelos.
#cabeza
Cabezas CoRe: eficiencia estructural en LLMs multimodales
Descubre cómo las cabezas CoRe en LLMs multimodales logran eficiencia: al eliminar solo el 5% se degrada el rendimiento, pero su uso acelera la inferencia. Una clave para la optimización.
Reconstrucción 3D de cavidad oral con deep learning e imágenes intraorales 2D
Descubre cómo reconstruye la cavidad oral en 3D con deep learning usando solo 10 imágenes intraorales 2D. Sin hardware costoso, reduce molestias y costos.
Especialización de cabezas softmax: modelo de ubicación única
Descubre cómo las cabezas de atención softmax se especializan en etapas durante el entrenamiento y el impacto de las funciones de activación en el rendimiento.
LCSHBench: Un benchmark multilingüe para la asignación de LCSH
LCSHBench: benchmark multilingüe de consenso para asignar encabezamientos de materia. Mejora catalogación automática con fine-tuning embeddings.
Optimización de sistemas de recomendación LLM con RAG y salida temprana
La arquitectura multi-cabeza con RAG mejora la eficiencia y precisión en sistemas de recomendación LLM. Reduce tiempo de cómputo sin sacrificar calidad.
AlignAtt4LLM: Traducción simultánea con LLMs decoder-only
AlignAtt4LLM logra traducción simultánea inglés-alemán/italiano con baja latencia aplicando AlignAtt en LLMs solo decodificador. Resultados superiores.
HARVE: Edición Robusta del Vector de Cabeza de Recompensa
Descubre HARVE, método sin entrenamiento que edita el vector de cabeza de recompensa para proteger modelos de lenguaje del hackeo, manteniendo su rendimiento.
HARVE: Edición de Vector de Recompensa para Robustez ante Hacking
Descubre HARVE, un método sin entrenamiento que edita el vector de recompensa para eliminar el reward hacking en modelos de lenguaje. Mejora robustez sin perder capacidad.
Vectores funcionales multimodales para relaciones visuales
Descubre cómo los vectores de función multimodal permiten extraer y optimizar relaciones visuales en modelos de IA, mejorando el razonamiento sin necesidad de reentrenar.
Predicción de reflectancia espectral de hojas con redes de atención multi-cabeza
Descubre cómo una red con atención multi-cabeza alcanza R² 0.84 en predicción de reflectancia foliar, supera modelos clásicos. Ideal para monitoreo de viñedos.
Evaluación alineada temporalmente para generación de talking heads
Descubre cómo la alineación temporal mejora la evaluación de generación de talking heads, ofreciendo métricas más robustas y justas para comparar modelos.
ChronosAD: Modelos base de series temporales para anomalías
ChronosAD utiliza modelos base de series temporales para detectar anomalías con alta precisión. Supera a otros métodos en un 4.72% AUC y 6.60% AP en 11 benchmarks.
Detección vs Ejecución: Sondas de un Solo Cúmulo Pierden Mitad del Sumidero de Mamba-2
Las sondas de un solo cúmulo solo detectan una pequeña parte de la ejecución en Mamba-2. La similitud representacional no implica equivalencia funcional. ¡Descúbrelo!
DaloyJS: framework TypeScript con seguridad incorporada para empresas
Descubre DaloyJS, el framework TypeScript que integra seguridad por defecto: límites de cuerpo, timeouts y más. Tu API segura desde el inicio.
Cabezas de Atención Posicional vs Simbólica: Dinámicas y Generalización
Descubre cómo las cabezas de atención posicionales y simbólicas aprenden en Transformers, su geometría RoPE y generalización de longitud.
Gaussian-Head OFL: Aprendizaje federado de un solo disparo
Descubre la familia GH-OFL para aprendizaje federado de un solo disparo. Logra alta precisión sin datos públicos, protegiendo la privacidad con estadísticas de clientes.
Detección de Anomalías en Series Temporales con Dinámicas de Consulta Predecible
Descubre AxonAD, detector no supervisado que predice consultas de atención para detectar anomalías en series temporales, mejorando localización y ranking.
Dirección desde la fuente: Cabezales de modulación de estilo para un control robusto de la personalidad.
Control robusto de la personalidad con cabezales de modulación de estilo. Optimiza la coherencia y adaptabilidad en sistemas de IA.