TrOPD: Destilación On-Policy con Región de Confianza
TrOPD estabiliza la destilación on-policy de LLMs usando regiones de confianza, superando la divergencia profesor-alumno. Mejora razonamiento, código y benchmarks.
#dientes
Destilación On-Policy en Región de Confianza
TrOPD estabiliza la destilación on-policy en LLMs con regiones de confianza. Supera a OPD, EOPD y REOPOLD en razonamiento y código. ¡Descubre cómo!
MERIT: Ajuste descentralizado de instrucciones con fusión de pesos
Descubre MERIT: un método descentralizado que mejora el ajuste de instrucciones en modelos multimodales fusionando pesos sin comunicación intensiva. Resultados superiores al entrenamiento conjunto.
Gradientes en embeddings semánticos revelan la incertidumbre de los LLM
Descubre cómo los gradientes semánticos revelan la incertidumbre de los LLM. SemGrad y HybridGrad: métodos sin muestreo para predicciones fiables.
CEAR: Robustez Adversarial Certificada con Ensambles en DNNs
Descubre CEAR: mejora la robustez adversarial certificada en DNNs usando ensambles con ruido y votación. Superior en MNIST, CIFAR10 y TinyImageNet.
ProbMoE: Enrutamiento Probabilístico Diferenciable para Mixture-of-Experts
ProbMoE: enrutamiento probabilístico para MoE con gradientes exactos y cardinalidad dinámica. Mejora eficiencia y diversidad.
Repensando el rol de la temperatura en destilación de LLMs
La temperatura transforma la destilación de LLMs: a altas temperaturas, FKL supera a RKL. Aprende a optimizar la transferencia de conocimiento.
Da forma a tu cuerpo: Gradientes de valor para diseño de robots multi-cuerpo
Optimiza el diseño de robots multi-cuerpo con gradientes de valor e IA. Ahorra tiempo y mejora el rendimiento sin reentrenar cada morfología.
Límites inferiores teóricos para optimización estocástica con bits limitados
Descubre cómo los límites informacionales afectan la optimización estocástica con gradientes de baja precisión: reducción a estimación gaussiana.
SORA: Ataques de Segundo Orden Gratuitos en Entrenamiento Adversarial Rápido
Descubre SORA, un método innovador que elimina el sobreajuste catastrófico en entrenamiento adversarial rápido, logrando robustez y precisión sin precedentes.
Entrenamiento eficiente de LLMs con dispersión dinámica
Descubre cómo SMET mejora el entrenamiento disperso dinámico de LLMs, eliminando picos de pérdida y reduciendo el uso de memoria. ¡Optimiza tu modelo!
Aprende sobre Indie Hackers con 68 artículos
Explora 68 artículos sobre Indie Hackers: micro SaaS, bootstrapping, productividad y más. Aprende de emprendedores que construyen negocios rentables sin inversión externa.
Entrenamiento sin gradientes de SNN con estrategias evolutivas de bajo rango
Descubre cómo el método EGGROLL entrena redes neuronales de picos sin gradientes, logrando un 79.21% de precisión y 2.23x más rápido en hardware neuromórfico.
Un marco unificado para la agregación de gradientes en optimización multiobjetivo
Descubre un marco teórico que unifica los algoritmos de agregación de gradientes para optimización multiobjetivo, con nuevas garantías de convergencia y aplicac
Codificación Predictiva con Lagrangiano Aumentado
Descubre PC-ALM: un algoritmo de codificación predictiva que iguala el rendimiento de la retropropagación usando dinámicas locales. Ideal para redes profundas.
Teoría exacta de algoritmos de error feedback en optimización distribuida
Aprende cómo los algoritmos de error feedback logran convergencia óptima en optimización distribuida con compresión de gradientes. Análisis para EF y EF21.
Muestreo de orden cero no log-cóncavo con reducción de varianza
Método de muestreo de orden cero con reducción de varianza para distribuciones no log-cóncavas. Aplicado a problemas inversos con garantías de convergencia.
PatchWorld: Optimización sin gradientes de modelos ejecutables
Descubre PatchWorld, un framework sin gradientes que convierte trayectorias offline en modelos mundiales ejecutables en Python mediante reparación de código. Planifica y predice sin llamadas LLM.