Marco unificado para localidad en MARL escalable
Optimiza MARL escalable con un marco de localidad que descompone sensibilidad. Descubre cómo el control de temperatura softmax mejora la eficiencia.
#softmax
Personalizando los sesgos inductivos de la atención softmax con matrices estructuradas
Nuevas funciones de scoring con matrices estructuradas de alto rango mejoran la atención softmax. Ideal para modelos de lenguaje y series temporales.
Estimadores de gradiente para inferencia de parámetros en modelos estocásticos
Descubre la comparativa de estimadores de gradiente (GS-ST, Score Function, Alternative Path) para inferencia en Gillespie SSA. Aplicado a sistemas biofísicos.
NAtS-L: Búsqueda de Atención Neuronal para Modelos Híbridos por Token
Descubre cómo NAtS-L optimiza transformers combinando atención lineal y softmax por token, reduciendo coste sin perder expresividad en contextos largos.
Guía del autoestopista: estimación de gradientes Poisson
Descubre cómo estimar gradientes Poisson sin sesgo con el método EAT modificado. Comparativa con Gumbel-Softmax para VAEs y modelos de inferencia neuronal.
El grafo como regularización natural: revisitando la cuantización vectorial
Descubre cómo RGVQ evita el colapso del codebook en grafos usando regularización topológica y contrastiva para tokens más expresivos.
Destilación de Grandes Modelos de Lenguaje con Puntuación Concreta
Descubre CSD, técnica de destilación que evita suavizado softmax y optimiza logits, mejorando modelos de lenguaje grandes. Ideal para IA eficiente.
Similitud de coseno en representaciones de etiquetas: lo que revela y lo que no
La similitud de coseno entre representaciones de etiquetas no revela las probabilidades del modelo. Descubre qué revela sobre clasificadores softmax y sigmoide.
Escalado temporal universal de 1/3 en distribuciones puntiagudas
El entrenamiento de LLMs converge lentamente por una razón fundamental: softmax y entropía cruzada generan un escalado de pérdida universal 1/3. Descubre las implicaciones.
Cuando Softmax falla al tope: Correcciones de valor extremo para InfoNCE
Descubre cómo WEINCE corrige el sesgo de softmax en InfoNCE usando teoría de valores extremos para mejorar el aprendizaje contrastivo en visión por computadora.
Repensando el rol de la temperatura en destilación de LLMs
La temperatura transforma la destilación de LLMs: a altas temperaturas, FKL supera a RKL. Aprende a optimizar la transferencia de conocimiento.
Olvida la Atención: Conciencia de Importancia es Todo
SISA: nuevo híbrido SSM-atención. Logra 17.3% en LAMBADA y recuperación perfecta en NIAH 7x más rápida que Transformers. ¡Descúbrelo!
IntAttention: Pipeline entero de atención para inferencia en edge
Descubre IntAttention: acelera la inferencia de Transformers en edge hasta 3.7x con pipeline entero sin conversiones. Sin pérdida de precisión.
Geometría de la información de Softmax: Sondas y dirección
Explora la geometría informacional en softmax para entender la codificación semántica en IA. Dirección dual: controla conceptos con precisión.
Alineación federada de preferencias con prior Gumbel-Softmax
Descubre FedVPA-GP: un nuevo marco de aprendizaje federado que personaliza modelos de lenguaje alineando preferencias de usuarios sin exponer datos, superando e
Softmax Recocido Greedy en Bandidos Bayesianos de Muchos Brazos
Softmax Recocido logra arrepentimiento casi óptimo en bandidos Bayesianos, explicando por qué GRPO funciona sin incertidumbre explícita.
Parallax: Atención Local Lineal que Mantiene Softmax y Corrige
Parallax: atención local lineal que mantiene softmax y añade corrección de covarianza. Duplica eficiencia en GPUs para LLMs.
Un modelo mínimo de bifurcación del desequilibrio de carga en un enrutador de mezcla de expertos con Softmax
<meta content=Explora el modelo mínimo de bifurcación del desequilibrio de carga en MoE con Softmax. Un análisis claro y conciso para entender este fenómeno en sistemas de mezcla de expertos.>
El clasificador bien temperado: Algunas propiedades elementales del escalamiento de temperatura
Descubre las propiedades clave del escalamiento de temperatura en clasificadores. Aprende cómo mejora la calibración y el rendimiento de los modelos.