Regret Pre-training: Uniendo conocimiento previo y futuro
Regret Pre-training: nuevo método que usa información futura para mejorar modelos de lenguaje. Logra un 33.9% de precisión en 9 tareas. ¡Sin parámetros extra!
#pre-entrenamiento
Quartet II: Pre-entrenamiento de LLMs en NVFP4
Descubre Quartet II, el método que optimiza el pre-entrenamiento de LLMs en formato NVFP4 en GPUs Blackwell. Mayor precisión y velocidad en tus modelos.
Pre-entrenamiento eficiente de LLMs mediante capas SVD truncadas
Eficiencia en pre-entrenamiento de LLMs usando capas SVD truncadas. Reduce parámetros y acelera el entrenamiento sin perder calidad.