Desaprendizaje rápido a gran escala vía autocorrección de margen
MASC ofrece desaprendizaje rápido a gran escala para modelos de lenguaje, sin reentrenamiento. Mejora la eficiencia y preserva la utilidad. ¡Conoce el método!
#reentrenamiento
Speedrun de preentrenamiento de modelos tabulares
Descubre cómo el speedrun de nanoTabPFN logró un speedup de 81x en preentrenamiento de modelos tabulares. Participa y contribuye al benchmark abierto en GitHub.
Preentrenamiento de modelos de lenguaje en textos históricos
Descubre TypewriterLM, un modelo de lenguaje de 7.24B parámetros entrenado con textos anteriores a 1913. Supera desafíos de calidad y fuga temporal.
MUSE: Un arnés agéntico unificado para MLLMs
Potencia MLLMs con MUSE, un arnés agéntico unificado que mejora tareas complejas sin reentrenar, usando verificación y reparación guiada.
Evaluación Causal de Ataques de Inferencia de Membresía
Descubre un nuevo enfoque causal para evaluar ataques de inferencia de membresía sin reentrenar, reduciendo sesgos. ¡Ideal para LLMs!
Cómo el escalamiento en inferencia beneficia el preentrenamiento generativo
El escalamiento en inferencia mejora el preentrenamiento generativo, superando la falsa dicotomía entre autoregresión y difusión.
Ley de escalado de datos para meta-aprendizaje con minimización de complejidad
Descubre cómo la minimización de complejidad demuestra que el meta-aprendizaje escala con datos, mejorando la eficiencia en pocos ejemplos.
Descenso Espejo Bajo Suavidad Generalizada
Descubre cómo el descenso espejo se adapta a suavidad generalizada para optimizar objetivos no suaves, con aplicaciones en entrenamiento de LLMs. ¡Conoce las nuevas garantías de convergencia!
Reconstruir contenido con atención colaborativa mejora embeddings multimodales
Mejora la calidad de embeddings multimodales con atención colaborativa y reconstrucción de contenido para tareas de recuperación y clasificación.
BLISS: Método ligero de influencia bilevel para selección de datos
BLISS: método ligero para selección de datos en preentrenamiento de LLMs. Logra 1.7x de aceleración sin modelos externos.
Aprendizaje robusto de neurona DRO grupal
Algoritmo eficiente para aprendizaje robusto de neuronas con DRO grupal, tolerante a ruido y cambios de distribución. Ideal para preentrenamiento de LLMs.
SurrogateSHAP: Atribución de contribuyentes sin reentrenamiento para modelos T2I
Aprende cómo SurrogateSHAP atribuye contribuyentes en modelos T2I sin reentrenamiento, reduciendo costos y mejorando transparencia.