HiPPO Zoo: Memoria Explícita para Modelos de Estado Interpretables
Descubre cómo las extensiones del framework HiPPO ofrecen memoria adaptativa y asociativa en modelos de espacio de estado, manteniendo la interpretabilidad. Un
#ortogonal
Gradientes estocásticos bajo parámetros nuisance
Cómo los gradientes estocásticos convergen con parámetros nuisance. Ortogonalidad de Neyman y actualizaciones ortogonalizadas para optimización robusta.
Inferencia robusta de heterogeneidad de riesgo en grupos desbalanceados
Descubre cómo un nuevo método robusto basado en Neyman ortogonalidad revela diferencias étnicas en riesgo de mortalidad en UCI que otros métodos no detectan.
Representaciones de grafos estables con autovectores de Laplaciano
Aprende cómo utilizar autovectores de Laplaciano para lograr representaciones de grafos estables y globalmente expresivas, mejorando el rendimiento de GNNs en benchmarks.
Estabilidad en momento matricial ortogonalizado con muestreo de clientes
Estudio de estabilidad en generalización para optimización distribuida con momentos ortogonalizados y muestreo de clientes. Se derivan cotas finitas bajo heterogeneidad de datos.
G2LoRA: Adaptación de gradiente ortogonal para aprendizaje continuo en grafos
G2LoRA: marco que combina gradiente ortogonal y aprendizaje continuo para evitar el olvido catastrófico en grafos textuales. ¡Pruébalo!
Expresividad de arquitecturas de congruencia para DNNs en matrices definidas positivas
La restricción semi-ortogonal en capas de congruencia limita la expresividad de DNNs para matrices PD. Comparativa de clasificadores Riemannianos.
El rol de la codificación de clases en el colapso neuronal
Analizamos cómo la codificación de etiquetas (one-hot) afecta el colapso neuronal en redes, con foco en el sesgo del clasificador y la pérdida MSE.
¿Cuánta ortogonalización necesita Muon?
Descubre cuánta ortogonalización necesita el optimizador Muon para entrenar redes neuronales de forma eficiente sin sacrificar precisión.
ProjQ: Compresión de LLM con Cuantización y Adaptadores
ProjQ revoluciona la compresión de LLMs al proyectar el ruido de cuantización en un subespacio de bajo rango. Obtén modelos más ligeros y eficientes con fine-tuning mejorado.
Belief2-Attention: mejora en tareas de visión
Descubre cómo Belief2-Attention mejora la atención en visión usando dos componentes para clasificación y segmentación.
Score Broadcast y Descorrelación: Marco General de Asignación de Crédito
El nuevo marco Score Broadcast and Decorrelation (SBD) mejora la asignación de crédito por broadcast, con soporte para múltiples pérdidas y resultados superiores en CIFAR-10.
Desentrañando la interferencia LoRA: subespacios ortogonales para fusión robusta de modelos
Descubre cómo OSRM resuelve la interferencia entre tareas al fusionar modelos LoRA, mejorando el rendimiento multitarea sin perder precisión individual. Una solución plug-and-play.
Alineación federada de preferencias con prior Gumbel-Softmax
Descubre FedVPA-GP: un nuevo marco de aprendizaje federado que personaliza modelos de lenguaje alineando preferencias de usuarios sin exponer datos, superando e