GPTQ-intrinsic LoRA: Cuantización de baja precisión con adaptación de bajo rango
GPTQ-intrinsic LoRA: mejora la cuantización de baja precisión con corrección de bajo rango. Algoritmo casi óptimo para modelos grandes.
#rango
GPTQ-intrinsic LoRA: algoritmo cuasióptimo para cuantización y adaptación de bajo rango
GPTQ-intrinsic LoRA combina cuantización de baja precisión y adaptación de bajo rango para comprimir redes neuronales. Algoritmo sin entrenamiento mejora modelos como Qwen3 y DeiT.
G2LoRA: Adaptación de gradiente ortogonal para aprendizaje continuo en grafos
G2LoRA: marco que combina gradiente ortogonal y aprendizaje continuo para evitar el olvido catastrófico en grafos textuales. ¡Pruébalo!
ProjQ: Compresión de LLM con Cuantización y Adaptadores
ProjQ revoluciona la compresión de LLMs al proyectar el ruido de cuantización en un subespacio de bajo rango. Obtén modelos más ligeros y eficientes con fine-tuning mejorado.
Limitaciones teóricas de la predicción de enlaces basada en embeddings
Descubre las limitaciones teóricas de la predicción de enlaces basada en embeddings y cómo las capas no lineales mejoran el rendimiento en grafos densos.
El aprendizaje subliminal es un artefacto de LoRA
El aprendizaje subliminal en modelos de lenguaje es un artefacto de LoRA: un fenómeno frágil que depende del rango y contexto, y desaparece con fine-tuning completo.
Reconstrucción de geometría V2I en zonas de obra con filtrado UWB basado en pose
Descubre cómo un método de denoising UWB basado en pose mejora la reconstrucción de geometría de zonas de obra para vehículos autónomos, reduciendo errores en un 66.9%.
ADNTN: Redes Tensoriales Diferenciables para Compresión Exponencial de DNN
Explora ADNTN: comprime DNN hasta 77,000x, mejorando precisión. Redes tensoriales no lineales automáticamente diferenciables.
Recomendación grupal con finalización de matriz profunda y rango acotado
Descubre cómo Group RC-DMC mejora las recomendaciones grupales usando aprendizaje profundo y restricciones de rango, superando la escasez de datos.
Adaptadores CP: pasos de parámetros más finos en PEFT
Los adaptadores CP ofrecen pasos de parámetros 21 veces más finos que LoRA. ¿Mejoran la precisión? Estudio controlado en OPT-1.3B revela resultados según la tarea.
Optimización bayesiana causal con transferencia entre intervenciones
Descubre cómo la optimización bayesiana causal transfiere información entre intervenciones, reduciendo costos y mejorando estimaciones en sistemas.
Reexaminando la adaptación de bajo rango para ajuste fino privado de LLMs
Descubre cómo restaurar el rápido decaimiento de valores singulares mejora la eficiencia del ajuste fino privado de LLMs con DP-SGD, sin comprometer privacidad.
Entrenamiento sin gradientes de SNN con estrategias evolutivas de bajo rango
Descubre cómo el método EGGROLL entrena redes neuronales de picos sin gradientes, logrando un 79.21% de precisión y 2.23x más rápido en hardware neuromórfico.
CSULoRA: Actualización Segura de Bajo Rango para Modelos de Lenguaje
CSULoRA corrige adaptadores LoRA para evitar que el fine-tuning adversarial dañe la seguridad de los LLMs, preservando la utilidad del modelo. Descubre cómo.