Relación entre CoCoA y ADMM en minimización de riesgo empírico distribuida
Descubre la relación entre CoCoA y ADMM en minimización de riesgo empírico distribuida y por qué ADMM puede superar a CoCoA.
#regularización
Pocos tokens, gran apalancamiento: preservando la alineación de seguridad durante el ajuste fino
Preserva la alineación de seguridad de tus LLMs durante el fine-tuning con PACT: restricciones focalizadas en tokens de seguridad que evitan la deriva sin sacrificar rendimiento.
Policy Split: Exploración de modo dual en RL para LLM
Descubre cómo Policy Split mejora la exploración dual en LLMs con regularización de entropía para mayor precisión y creatividad.
Gradiente de Política Autodestilada (SDPG)
Descubre SDPG, un marco de gradiente de política autodestilada que estabiliza el entrenamiento de LLMs mediante autorefuerzo y ventajas de grupo.
Predicción bajo compresión imperfecta: teoría de MDL aproximado
Descubre cómo la compresión aproximada garantiza predicciones confiables en secuencias, incluso con errores de optimización. Un análisis teórico del MDL.
AlphaQ: Asignación de bits sin calibración para cuantización de MoE
Descubre AlphaQ, un método sin calibración que asigna bits a expertos en MoE basado en la pesadez espectral. Logra compresión 4x con precisión casi total.
OpenRFM: Diseccionando el Aprendizaje Relacional en Contexto
OpenRFM mejora un 30% el rendimiento en tareas relacionales. Su arquitectura dual y preentrenamiento inteligente superan a modelos comerciales.
Decaimiento de bajo rango para grokking en transformers invariantes a escala
Descubre cómo el decaimiento de bajo rango (LRD) acelera el grokking en transformers invariantes a escala, comprimiendo valores singulares.
ReLoRA: Adaptación rápida reutilizando conocimiento para servicios LLM
ReLoRA acelera la reutilización de adaptadores LoRA para servicios LLM en evolución, reduciendo tiempos de preparación hasta 8.9x y mejorando precisión un 4.6%.
Límites de arrepentimiento dependientes de datos y varianza en MDPs tabulares
Algoritmos que logran límites de arrepentimiento adaptativos a datos y varianza en MDPs tabulares online, óptimos en entornos adversariales y estocásticos.
Aprendizaje bayesiano disperso para núcleos de interacción Motsch-Tadmor
Aprende cómo un algoritmo SBL estima núcleos de interacción en el modelo Motsch-Tadmor, cuantificando incertidumbre a partir de datos de trayectoria.
Recuperación parcial y consistencia débil en HSBM no uniforme
Descubre cómo un nuevo algoritmo espectral logra recuperación parcial y consistencia débil en el modelo HSBM no uniforme para detección de comunidades en hipergrafos.
Algoritmo de gradiente no monótono para NMF simétrica y clustering
Algoritmo SNMPBB: gradiente no monótono para NMF simétrica. 6x más rápido que alternativas y superior en clustering de grafos. ¡Optimiza!
¿Qué aprenden los estudiantes? Análisis del conocimiento oscuro
Descubre cómo la Destilación de Confusión (CD) mejora el aprendizaje de modelos sin profesor, superando a otros métodos en CIFAR-100.
¿Qué aprenden los estudiantes? Análisis de características en KD
Analizamos el aprendizaje de características en destilación de conocimiento y presentamos Confusion Distillation, una auto-destilación eficiente que supera a otros métodos en 1.2%.
Annot-Mix: Aprendizaje con etiquetas ruidosas de múltiples anotadores vía Mixup
Annot-Mix mejora el entrenamiento con etiquetas ruidosas de múltiples anotadores vía Mixup. Superior a 11 enfoques en 11 datasets.
Honestidad en bosques causales: ¿cuándo ayuda o perjudica?
¿Sabías que la estimación honesta en bosques causales puede reducir la precisión? Descubre cuándo ayuda y cuándo perjudica en más de 7,000 conjuntos de datos.
AReT: Volumetría de nódulos pulmonares con solo 3 proyecciones
Descubre AReT: la nueva técnica de IA que logra volumetría de nódulos pulmonares con solo 3 radiografías. Precisión del 98.3% y error del 11.4%.
Reordenamiento con LLM para objetivos matizados en recomendadores
Estudio revela que el reordenamiento con LLM puede amplificar contenido extremo, pero una regularización ligera mejora la diversidad ideológica.
Descifrando el Grokking en Regresión Ridge
Descubre cómo el grokking en regresión ridge demuestra que la generalización tardía no es un fallo de deep learning. Aprende a controlarlo con hiperparámetros.