Aprendizaje de compresión de subespacios para paralelismo eficiente en pipeline
MAPL comprime activaciones en paralelismo de tubería con proyecciones ortogonales aprendidas, reduce comunicación sin pérdida de rendimiento en modelos LLaMA.
#modelos de lenguaje grande
Vectores de dirección: una superficie de ataque adversarial
Descubre cómo un ataque de envenenamiento sigiloso en vectores de dirección puede burlar la seguridad de LLMs. Aprende sobre la defensa ortogonalización.
Meta-aprendizaje para enrutar LLMs según preferencias de costo-rendimiento
Optimiza el uso de modelos de lenguaje: MetaRouter utiliza meta-aprendizaje para personalizar el enrutamiento según tus necesidades, reduciendo costes sin sacrificar rendimiento.
Recover-LoRA: Recuperando precisión en cuantización agresiva de 2 bits
Recover-LoRA recupera hasta 95% de precisión en modelos de 2 bits usando adaptación de bajo rango y destilación con solo 10k datos sintéticos.
Análisis del comportamiento en educación física con señales de movimiento e IA
Marco unificado combina señales de movimiento e IA para analizar comportamiento en educación física y genera retroalimentación pedagógica automática.
Detección de alucinaciones en modelos de lenguaje con conciencia geométrica
Descubre cómo GA-ICL, un método de selección de ejemplos con conciencia geométrica, mejora la detección de alucinaciones en LLMs sin modificar parámetros.
Entrelazamiento de valores: confusión entre lo moral, gramatical y económico en LLMs
Investigación revela que los modelos de lenguaje grandes confunden el valor moral, gramatical y económico. Descubre cómo la ablación selectiva corrige este entrelazamiento y mejora la alineación.
SFMP: Cuantización mixta fina y sin búsqueda para LLMs
SFMP: cuantización mixta sin búsqueda y amigable con hardware para LLMs. Reduce costos y mejora eficiencia.
Marco de variables latentes para leyes de escalado en LLMs
Descubre un nuevo marco estadístico con variables latentes para predecir rendimiento de LLMs en múltiples benchmarks. Ideal para entender leyes de escalado.
¿Pueden los LLMs generalizar procedimientos entre representaciones?
Descubre cómo un currículo de RL permite a LLMs generalizar procedimientos entre código y lenguaje natural, igualando a GPT-4o.
Policy Split: Exploración de modo dual en RL para LLM
Descubre cómo Policy Split mejora la exploración dual en LLMs con regularización de entropía para mayor precisión y creatividad.
Inferencia Aumentada Generativa: análisis causal combinando IA y humanos
Aprende cómo Generative Augmented Inference (GAI) combina datos de IA y humanos para una inferencia causal más precisa, reduciendo errores y mejorando intervalos de confianza.
Atribución de datos en LLMs mediante gradiente bidireccional
Descubre cómo la optimización de gradiente bidireccional permite atribuir datos de entrenamiento en LLMs, mejorando la interpretabilidad y accountability de los sistemas de IA.
MorphoQuant: Cuantización Consciente de la Modalidad para LLMs Omni-Modales
Descubre MorphoQuant, un marco de cuantización que mantiene la precisión en modelos omni-modales con solo 4 bits, superando a modelos de 16 bits en ScienceQA.
DSIRM: Aprendizaje de Identificadores Semánticos para Relevancia en E-commerce
DSIRM mejora la relevancia en búsqueda de e-commerce con identificadores semánticos discretos y cuantización contrastiva, logrando +1.54% AUC y +0.13% UCTR.
Investigación profunda auto-evolutiva mediante generación y evaluación conjunta
Aprende cómo el marco SCORE mejora informes de investigación mediante la co-evolución de generación y evaluación, superando recompensas fijas.
Personalidades sintéticas: precisión de LLMs con microdatos
Estudio evalúa gemelos digitales basados en LLMs y microdatos. La calidad mejora con profundidad de información, alcanzando 78.8% de precisión en respuestas.
QuBLAST: Cuantización con Compresión por Bloques y Escalado de Activaciones
Descubre QuBLAST, un framework que reduce el tamaño de LLMs hasta un 45% mediante cuantización por bloques y escalado de activaciones, sin perder rendimiento.
Andamios visuales de grafos para razonamiento en LLMs
¿Sabías que los grafos visuales potencian el razonamiento de los LLMs? Un estudio revela cómo los andamios visuales superan al texto plano.
ClinicalMC: Benchmark para la toma de decisiones clínicas multicurso con LLMs
Explora ClinicalMC, el benchmark que evalúa LLMs en la toma de decisiones clínicas multicurso. Conoce los resultados y su impacto en la salud.