Cuantización de Precisión Mixta por Canal para Grandes Modelos de Lenguaje
Optimiza tus modelos de lenguaje con CMPQ: cuantización de precisión mixta por canal que ahorra memoria y mejora el rendimiento en dispositivos edge.
#cuantización
LLMCodec: Adaptando códecs de video para comprimir LLMs
Descubre LLMCodec, que usa códecs de video para comprimir LLMs con alta precisión. Reduce perplejidad 1.5x y mejora precisión en tareas sin fine-tuning.
Google DeepMind publica Gemma 4 QAT: Q4_0 y nuevo formato móvil reducen memoria
Descubre cómo los nuevos Gemma 4 QAT de Google DeepMind reducen la memoria hasta 1 GB en móviles sin perder calidad. Comparativa completa.
Guía para integrar un LLM local en apps iOS y Android
Descubre cómo integrar un LLM local en tu app móvil iOS o Android. Guía para empresas sobre beneficios, costos y mejores prácticas de IA on-device.
Inversión óptima de matrices con multiplicación para atención lineal cuantizada
Aceleración 5x en atención lineal en NPU con inversión de matrices solo multiplicación, reduciendo 20% sobrecarga sin perder precisión.
LiftQuant: Ancho de bits continuo en LLM mediante elevación dimensional
Descubre LiftQuant: cuantización continua de LLM que permite comprimir modelos de 70B a tan solo 2.4 bits, ajustándose perfectamente a tu memoria GPU.
Miso Labs lanza MisoTTS: modelo TTS emotivo de 8B pesos abiertos
Descubre MisoTTS, el modelo de voz expresiva de 8B parámetros con pesos abiertos. Genera habla natural a partir de texto y audio contexto. ¡Lee más!
Compresión de LLM con optimización conjunta de arquitectura y cuantización
Descubre cómo un nuevo enfoque de NAS optimiza arquitectura y cuantización en LLM, logrando hasta 1.4x más velocidad y 6% más precisión en tareas de razonamiento. ¡Mejora tus despliegues en edge!
dMX: Asignación Diferenciable de Precisión Mixta en Formatos de Punto Flotante
dMX asigna automáticamente el formato de punto flotante óptimo por capa en LLMs, mejorando rendimiento y eficiencia. Descubre cómo esta técnica supera a métodos tradicionales.
Recover-LoRA: Recuperando precisión en cuantización agresiva de 2 bits
Recover-LoRA recupera hasta 95% de precisión en modelos de 2 bits usando adaptación de bajo rango y destilación con solo 10k datos sintéticos.
Recover-LoRA: Recuperando precisión en modelos de 2 bits
Recover-LoRA recupera hasta un 95% de precisión en modelos de lenguaje cuantizados a 2 bits usando destilación de conocimiento con datos sintéticos. Ideal para despliegue en edge.
Redondeo Adaptativo que Preserva el Modelo
Descubre YAQA: algoritmo de redondeo adaptativo que reduce el error de cuantización un 30% frente a GPTQ. Cotas de error garantizadas sin coste de inferencia.
Redondeo Adaptativo que Preserva el Modelo
Descubre YAQA, el algoritmo de redondeo adaptativo que reduce el error de cuantización un 30% sin sobrecarga. Preserva la distribución del modelo original.
RAVQ-HoloNet: Compresión Adaptativa de Hologramas con Cuantización Vectorial
Descubre RAVQ-HoloNet, método de compresión holográfica que reduce hasta 33% la tasa de bits y mejora calidad. Ideal para AR/VR de alta fidelidad.
SFMP: Cuantización mixta fina y sin búsqueda para LLMs
SFMP: cuantización mixta sin búsqueda y amigable con hardware para LLMs. Reduce costos y mejora eficiencia.
AlphaQ: Asignación de bits sin calibración para cuantización de MoE
Descubre AlphaQ, un método sin calibración que asigna bits a expertos en MoE basado en la pesadez espectral. Logra compresión 4x con precisión casi total.
MorphoQuant: Cuantización Consciente de la Modalidad para LLMs Omni-Modales
Descubre MorphoQuant, un marco de cuantización que mantiene la precisión en modelos omni-modales con solo 4 bits, superando a modelos de 16 bits en ScienceQA.
Alineación de Atención Enmascarada para Cuantización Sin Datos en ViTs
Descubre cómo MaskAQ utiliza alineación de atención enmascarada para cuantizar Vision Transformers sin datos reales, mejorando la seguridad y el rendimiento.
DSIRM: Aprendizaje de Identificadores Semánticos para Relevancia en E-commerce
DSIRM mejora la relevancia en búsqueda de e-commerce con identificadores semánticos discretos y cuantización contrastiva, logrando +1.54% AUC y +0.13% UCTR.
QuBLAST: Cuantización con Compresión por Bloques y Escalado de Activaciones
Descubre QuBLAST, un framework que reduce el tamaño de LLMs hasta un 45% mediante cuantización por bloques y escalado de activaciones, sin perder rendimiento.