Redes neuronales gráficas guiadas por física con pesos dinámicos para RUL y SoH
Descubre cómo RGPD, con redes gráficas y pesos dinámicos, mejora un 12% la precisión en RUL y SoH en motores, rodamientos y baterías.
#pesos
Aprendizaje off-policy: optimización > estimación en grandes acciones
Descubre por qué la optimización es clave en el aprendizaje off-policy con grandes espacios de acción, y cómo los pesos de verosimilitud simplifican el proceso.
Más allá de lo discreto: complejidad muestral del STE en cuantización 1-bit
Primer análisis teórico de complejidad muestral del Straight-Through Estimator para cuantización 1-bit. Descubre por qué el tamaño de muestra es clave para su éxito.
WUSH: Transformaciones Adaptativas Casi Óptimas para Cuantización de LLM
WUSH mejora la cuantización de LLMs hasta +2.8 puntos en W4A4. Transformaciones adaptativas casi óptimas para despliegue eficiente en GPU.
GPTQ-intrinsic LoRA: Cuantización de baja precisión con adaptación de bajo rango
GPTQ-intrinsic LoRA: mejora la cuantización de baja precisión con corrección de bajo rango. Algoritmo casi óptimo para modelos grandes.
MERIT: Ajuste descentralizado de instrucciones con fusión de pesos
Descubre MERIT: un método descentralizado que mejora el ajuste de instrucciones en modelos multimodales fusionando pesos sin comunicación intensiva. Resultados superiores al entrenamiento conjunto.
Estabilidad en momento matricial ortogonalizado con muestreo de clientes
Estudio de estabilidad en generalización para optimización distribuida con momentos ortogonalizados y muestreo de clientes. Se derivan cotas finitas bajo heterogeneidad de datos.
Explotando simetrías del espacio de pesos para aproximar curvatura
Descubre cómo las simetrías en el espacio de pesos facilitan la estimación de la curvatura en redes neuronales, mejorando la optimización y reduciendo costos computacionales.
ThinkSwitch: destilación con LoRA para razonamiento específico
ThinkSwitch combina destilación de contexto con LoRA e interpolación de pesos para mejorar modelos de lenguaje en razonamiento, reduciendo costos y latencia sin sacrificar precisión.
Soft-NBCE: Fusión de fragmentos ponderada por entropía para contextos largos
Soft-NBCE optimiza la inferencia de LLMs en contextos largos: fusión de fragmentos con pesos de entropía y destilación de consistencia para mayor precisión en razonamiento multi-salto.
Revisitando la edición paramétrica en LLMs: límites teóricos y evidencia
Descubre por qué la edición de parámetros en LLMs daña capacidades clave. Evidencia empírica muestra que la recuperación supera a la edición paramétrica.
De pesos a código: extrayendo algoritmos interpretables del Transformer Discreto
Extrae algoritmos interpretables de un Transformer Discreto. Descubre cómo convertir pesos neuronales en código legible para una IA más explicable.
Acoplamiento de Subespacios para Compresión de LLM: Límites Empíricos
La optimización conjunta de capas en compresión de LLMs fracasa. El flujo residual desacopla las capas, haciendo clave la reconstrucción por capas.