Completación de Matrices Distribucionales de Bajo Rango
Descubre cómo completar matrices de distribuciones de probabilidad usando técnicas de bajo rango y embeddings kernel. Un nuevo enfoque con garantías estadísticas.
#rango
LimiX-2M: Mitigando colapso de bajo rango y cuellos de botella
Descubre LimiX-2M, un modelo de 2M parámetros que supera a alternativas más grandes mediante tokenización avanzada y enrutamiento optimizado. Reduce costos y mejora precisión en datos tabulares.
Decaimiento de bajo rango para grokking en transformers invariantes a escala
Descubre cómo el decaimiento de bajo rango (LRD) acelera el grokking en transformers invariantes a escala, comprimiendo valores singulares.
SDPLR+: Solucionador SDP escalable de bajo rango
Descubre SDPLR+: resuelve SDP con millones de variables usando límites de suboptimalidad y bajo rango. Más rápido y escalable.
RNN factorizado de bajo rango para dinámicas neuronales independientes
Descubre cómo el nuevo modelo FacRNN desenreda dinámicas neuronales latentes para una interpretabilidad sin precedentes en neurociencia computacional.
Más allá de la acumulación de codificadores en VLM
Descubre cómo medir el rol de cada codificador en modelos VLM multicodificador. Capacidad y Necesidad revelan pares óptimos para entrenar sin acumular. Investigación con 16 benchmarks.
Múltiples opciones en modelos de lenguaje con adaptadores de bajo rango
Descubre cómo LoRA-MCL genera múltiples continuaciones de texto diversas y relevantes usando adaptadores de bajo rango. Ideal para subtitulado y traducción.
Bloqueo de signos: persistencia y cuello de botella sub-bit
Los signos de pesos inicializados persisten y crean un cuello de botella en compresión sub-bit. Descubre la teoría de bloqueo de signos y un nuevo método.
Algoritmo de gradiente no monótono para NMF simétrica y clustering
Algoritmo SNMPBB: gradiente no monótono para NMF simétrica. 6x más rápido que alternativas y superior en clustering de grafos. ¡Optimiza!
Descomposición tensorial bayesiana con prior de modelo de difusión
DiffBCP combina descomposición tensorial bayesiana y modelos de difusión para reconstruir datos corruptos. Ideal para inpainting y denoising de imágenes.
Descomposición Tensorial Bayesiana con Prior de Difusión
DiffBCP combina descomposición tensorial bayesiana y modelos de difusión para reconstruir datos severamente corruptos. Ideal para inpainting y denoising de alta resolución.
Compress then Merge: cómo fusionar LoRAs en un único adaptador
Descubre cómo fusionar múltiples LoRAs en un solo adaptador de bajo rango con Compress-then-Merge, mejorando eficiencia y rendimiento sin perder estructura.
No seas tan Stief: optimización de KV Cache en la variedad de Stiefel
Descubre cómo StiefAttention comprime el caché KV con aproximación de rango bajo en la variedad de Stiefel, mejorando precisión y eficiencia en modelos de lenguaje.
SALAAD: Adaptación dispersa y de bajo rango con ADMM para inferencia de LLM
Descubre cómo SALAAD reduce el consumo de memoria en modelos de lenguaje grandes usando estructuras dispersas y de bajo rango, permitiendo un despliegue flexible sin reentrenamiento.
FlexRank: Descomposición Anidada de Bajo Rango para Despliegue Adaptativo
FlexRank extrae submodelos de capacidad variable de modelos sin reentrenar. Optimiza costos y rendimiento para despliegue adaptativo a todo presupuesto.
Aproximación de divergencias-f con estadísticos de rango
Aproxima divergencias-f con estadísticos de rango. Método rank-statistic para alta dimensión usando proyecciones aleatorias. Eficiente y validado.
OP-LoRA: La bendición de la dimensionalidad
OP-LoRA mejora el rendimiento de LoRA al añadir MLP temporal que se descarta. Logra hasta 15 puntos más en generación de imágenes.
RefLoRA: Adaptación de Bajo Rango Refactorizada para Modelos Grandes
Descubre RefLoRA, una nueva técnica de fine-tuning que acelera la convergencia y mejora el rendimiento de modelos grandes con mínimo costo computacional.
LRAgent: Caché KV Compartido Eficiente para Agentes Multi-LoRA
Descubre cómo LRAgent comparte eficientemente la caché KV entre agentes Multi-LoRA, reduciendo memoria y cómputo sin perder precisión. ¡Optimiza tus LLMs!
LASER: SVD consciente de pérdida y asignación de rango para modelos VL
Descubre cómo LASER logra una aceleración 2.3x en modelos visión-lenguaje con baja precisión, usando SVD consciente de pérdida y asignación de rango.