Semántica formal de protocolos de herramientas de agentes: cálculo de procesos
La semántica formal revela equivalencias y brechas entre SGD y MCP. Cinco principios para protocolos de agentes seguros y verificables.
#sgd
Semántica formal para protocolos de herramientas de agentes
Descubre la demostración formal de bisimilitud entre SGD y MCP y los 5 principios para protocolos seguros.
Decaimiento a largo plazo de colas de SGD recortado en optimización no convexa
Nuevas cotas muestran que las colas de SGD y SGD recortado decaen exponencialmente más rápido. ¡Garantías a largo plazo mejoradas!
¿Cuándo bastan menos coordenadas en DP-SGD?
Descubre cuándo es posible usar menos coordenadas en DP-SGD sin perder rendimiento. El método TP-TopK optimiza el entrenamiento privado reduciendo el ruido.
Revisión de amplificación de privacidad por submuestreo en DPSGD selectivo
Descubre cómo el nuevo algoritmo DPSR-CG logra privacidad diferencial rigurosa sin sacrificar el rendimiento del modelo en aprendizaje automático.
Optimización estocástica descentralizada no convexa bajo suavidad (L0,L1)
Nuevo algoritmo DNSGD: optimización descentralizada no convexa con suavidad (L0,L1). Logra punto estacionario con menor complejidad. ¡Descúbrelo!
Bloqueo de signos: persistencia y cuello de botella sub-bit
Los signos de pesos inicializados persisten y crean un cuello de botella en compresión sub-bit. Descubre la teoría de bloqueo de signos y un nuevo método.
Desmitificando el paralelismo de pipelines: teoría para PipeDream
Descubre cómo PipeDream logra convergencia en entrenamiento distribuido con un nuevo análisis teórico no convexo. Comparativa con LocalSGD.
Mínimos locales en redes ReLU de dos capas: un análisis preciso
Descubre cómo se caracterizan los mínimos locales en redes ReLU de dos capas y cómo la sobreparametrización facilita el acceso a mínimos globales.
Convergencia de métodos de gradiente estocástico bajo ruido de cola pesada
Descubre cómo SGD y SMD convergen en expectativa bajo ruido de cola pesada sin modificaciones. Nuevos resultados revelan su potencial.
Relación señal-ruido no uniforme en REINFORCE
Descubre cómo la relación señal-ruido no uniforme en el estimador REINFORCE causa inestabilidad y colapso durante el entrenamiento en RL.
PRISM: LoRA diferencialmente privada con invariancia gauge
Descubre PRISM, un mecanismo de privacidad diferencial para LoRA que evita la amplificación de ruido. Mejora la privacidad sin sacrificar utilidad.
Cuantificación precisa de incertidumbre en grandes muestras con SG-MCMC
Descubre cómo nuevas aproximaciones discretas a SGLD permiten cuantificar incertidumbre en grandes conjuntos de datos para mejor ajuste y robustez.
Claves de un modelo fuerte: análisis espectral de transferencia de conocimiento
Descubre cómo la transferencia de conocimiento potencia modelos de IA mediante análisis espectral unificado. Incluye destilación y generalización débil-fuerte.
Reexaminando la adaptación de bajo rango para ajuste fino privado de LLMs
Descubre cómo restaurar el rápido decaimiento de valores singulares mejora la eficiencia del ajuste fino privado de LLMs con DP-SGD, sin comprometer privacidad.
El desacuerdo entre trabajadores revela direcciones nítidas en SGD local
Desacuerdo entre trabajadores revela direcciones claras en el SGD local. Analizamos las causas y consecuencias de este conflicto.
El Descenso de Gradiente Estocástico con Momento es Algorítmicamente Estable
Análisis de la estabilidad algorítmica del SGD con momento. Comprende su impacto en la convergencia y rendimiento de modelos de machine learning.