MC-PDD: Detectando datos de preentrenamiento en LLMs de caja negra
Descubre MC-PDD, un método innovador que detecta si un dataset se usó en el entrenamiento de LLMs de caja negra, usando solo acceso API. Ideal para auditoría y
#reentrenamiento
Kairos: Un Stack Nativo de Modelos del Mundo para IA Física
Descubre Kairos, el stack nativo de modelos del mundo para IA física. Aprende de datos heterogéneos, mantiene estados persistentes y ejecuta en hardware real
Hyperball: Optimizadores de Preentrenamiento Fantásticos
Descubre Hyperball, un wrapper que acelera el preentrenamiento de modelos de lenguaje hasta un 30% mejorando la convergencia. Optimizado para Muon y Adam.
Aprendizaje de audio con preentrenamiento sintético y generación procedural
Descubre cómo AudioPG entrena representaciones de audio sin datos reales, logrando alta precisión en benchmarks como ESC-50 en menos de 20 minutos en una GPU.
Preentrenamiento para ciencia basada en simulación: modelos de jets
Descubre el mejor preentrenamiento para modelos de jets: comparativa entre supervisado, generativo y auto-supervisado en ciencia simulada.
Supervisión humana y G2P para transcripción fonética robusta
Descubre cómo la supervisión humana y G2P afecta la transcripción fonética: un umbral de 20-30 horas y el preentrenamiento ASR logran una reducción de error de
DemoDiffusion: Imitación Humana en un Solo Intento con Política de Difusión
DemoDiffusion: robots imitan movimientos humanos con una sola demostración usando políticas de difusión preentrenadas. ¡83.8% de eficacia!
Photon: Entrenamiento previo federado de LLM
Photon: sistema federado para preentrenar LLM de hasta 7B. 35% más rápido, 512x menos ancho de banda. ¡Entrena modelos grandes sin data centers!
X-Tokenizer: Tokenizador de acciones multimodal para VLA
X-Tokenizer revoluciona la tokenización de acciones robóticas al actuar como interfaz semántica, superando a FAST en 13.5% en tareas multimodales. Ideal para
Colapso de diversidad en RLVR: perspectiva del sobreentrenamiento
El sobreentrenamiento en RLVR mejora Pass@1 pero reduce la diversidad en Pass@k. Conoce el colapso de diversidad y la solución BBG para mantener el
Recupera, no reentrenes: extiende modelos VLA a nuevas tareas en prueba
Extiende modelos VLA a nuevas tareas sin reentrenar, solo recuperando datos. Ahorra tiempo y recursos con esta técnica en tiempo de prueba.
SPARK: Generación de código seguro con LLMs sin reentrenamiento
SPARK activa el conocimiento de seguridad latente en LLMs sin reentrenamiento, mejorando la generación de código seguro en C++, Java y Python. Resultados
Aumento de Datos para Preentrenamiento de Modelos de Lenguaje con Datos Limitados
Descubre cómo el aumento de datos evita el sobreajuste en el preentrenamiento de modelos de lenguaje con datos limitados. Técnicas como permutaciones y ruido
ArtBoost: Aumento de datos articulatorios para inversión acústico-articulatoria
Descubre ArtBoost: genera datos articulatorios sintéticos a partir de mallas faciales para mejorar la inversión acústico-articulatoria con pocos EMA.
ArtBoost: Aumento sintético de datos articulatorios para inversión acústica
Descubre ArtBoost, una novedosa estrategia de aumento de datos que usa mallas faciales 3D para mejorar la inversión acústico-articulatoria con supervisión
Múltiples descensos en deep learning: transiciones orden-caos en LSTM
Descubre cómo las redes LSTM muestran múltiples ciclos de rendimiento tras el sobreentrenamiento, vinculados a transiciones entre orden y caos. El punto óptimo
AC-ODM: Mezcla de Datos en Línea Actor-Crítico para Preentrenar LLM
AC-ODM acelera el preentrenamiento de LLM hasta un 66% y mejora precisión en MMLU y HumanEval. ¡Conoce más!
¿La atención es solo acoplamiento? Una perspectiva ODE jerárquica
Explora cómo el acoplamiento en transformers se modela con ecuaciones rápido-lento. Jerarquico sin ganancia de rendimiento pero con interpretacion teorica.
Aprendiendo qué predecir: diseño de tareas guiado por rendimiento final
Descubre cómo V-pretraining mejora capacidades objetivo usando pocos ejemplos finales como feedback, sin degradar la generalización. Ideal para modelos de lenguaje y visión.
OpenMedQ: Preentrenamiento abierto para modelos médicos de visión-lenguaje
OpenMedQ: modelo de VLM médico preentrenado en 14 datasets abiertos logra SOTA en PathVQA y VQA-MED. Supera modelos 80x mayores. Código abierto.