SFMP: Cuantización mixta fina y sin búsqueda para LLMs
SFMP: cuantización mixta sin búsqueda y amigable con hardware para LLMs. Reduce costos y mejora eficiencia.
#peso
El poder expresivo de las redes equivariantes en el espacio de pesos
Descubre cómo las redes equivariantes a permutaciones pueden mejorar hasta un 34% el rendimiento en tareas de aprendizaje de pesos. Un análisis teórico completo
HalfNet: Redes Neuronales Aleatorias con Geometría de Subespacio
Descubre HalfNet, la red neuronal que aprende la geometría de sus pesos aleatorios. Reduce parámetros sin perder precisión en MNIST y CIFAR-10.
AlphaQ: Asignación de bits sin calibración para cuantización de MoE
Descubre AlphaQ, un método sin calibración que asigna bits a expertos en MoE basado en la pesadez espectral. Logra compresión 4x con precisión casi total.
Modelo ensamblado de factores latentes con evolución diferencial y gradiente
El modelo ELFM-DEGDO combina evolución diferencial y gradiente descendente para mejorar representación de datos HDI, superando sesgos de optimización.
Psicometría en SLMs: artefactos de prompt, no constructos psicológicos
Descubre por qué los SLMs miden artefactos de prompt, no rasgos psicológicos. Un estudio revela cómo los sesgos de cumplimiento dominan las evaluaciones.
WaterSIC: Cuantización lineal casi óptima (teoría de la información)
WaterSIC: algoritmo de cuantización casi óptimo que supera a GPTQ. Nuevo récord en LLMs Llama y Qwen para 1-4 bits. ¡Mejora la eficiencia!
Aprendizaje sin entrenamiento: Dinámica implícita del aprendizaje en contexto
Descubre cómo los transformers aprenden en contexto sin entrenamiento: la dinámica implícita que modifica pesos MLP durante la inferencia.
Bloqueo de signos: persistencia y cuello de botella sub-bit
Los signos de pesos inicializados persisten y crean un cuello de botella en compresión sub-bit. Descubre la teoría de bloqueo de signos y un nuevo método.
Qift: Cuantificación W2 sin cero para inferencia de LLM rotados
Descubre Qift: un método de cuantificación sin cero para pesos de 2 bits que mejora la precisión y eficiencia en inferencia de LLM rotados. Simple y sin entrenamiento.
Evaluación crítica de PINN vs FEM diferenciable para análisis inverso de FWD
Descubre por qué la FEM diferenciable supera a las PINN en el análisis inverso de deflectómetros de peso (FWD) para pavimentos: mayor precisión, robustez y eficiencia.
Regularización de las GANs de Wasserstein
Descubre cómo una regularización débil mejora el entrenamiento de Wasserstein GANs, superando problemas de convergencia y optimizando la restricción Lipschitz.
Redes neuronales gráficas guiadas por física con pesos dinámicos para RUL y SoH
Descubre cómo RGPD, con redes gráficas y pesos dinámicos, mejora un 12% la precisión en RUL y SoH en motores, rodamientos y baterías.
La geometría del grokking: minimización de norma en la variedad de pérdida cero
Descubre cómo la minimización de norma en la variedad de pérdida cero explica el fenómeno grokking: generalización tardía tras memorización.
MidSurfNet: Aprendizaje para abstracción de superficies medias
MidSurfNet usa IA para emparejar caras y generar superficies medias con offset variable, superando limitaciones en modelos CAD de pared delgada.
Aprendizaje off-policy: optimización > estimación en grandes acciones
Descubre por qué la optimización es clave en el aprendizaje off-policy con grandes espacios de acción, y cómo los pesos de verosimilitud simplifican el proceso.
Más allá de lo discreto: complejidad muestral del STE en cuantización 1-bit
Primer análisis teórico de complejidad muestral del Straight-Through Estimator para cuantización 1-bit. Descubre por qué el tamaño de muestra es clave para su éxito.
WUSH: Transformaciones Adaptativas Casi Óptimas para Cuantización de LLM
WUSH mejora la cuantización de LLMs hasta +2.8 puntos en W4A4. Transformaciones adaptativas casi óptimas para despliegue eficiente en GPU.
GPTQ-intrinsic LoRA: Cuantización de baja precisión con adaptación de bajo rango
GPTQ-intrinsic LoRA: mejora la cuantización de baja precisión con corrección de bajo rango. Algoritmo casi óptimo para modelos grandes.
MERIT: Ajuste descentralizado de instrucciones con fusión de pesos
Descubre MERIT: un método descentralizado que mejora el ajuste de instrucciones en modelos multimodales fusionando pesos sin comunicación intensiva. Resultados superiores al entrenamiento conjunto.