Pretraining de modelos de lenguaje con datos limitados: regularización y escalado
Nuevo estudio propone regularización MIR y ley de escalado SoftQ para pretraining con datos limitados, logrando mejoras equivalentes a 1.3x más datos únicos.
#pretraining
Aprendiendo el vecindario: Pretraining multimodal libre de contraste molecular
C-FREE integra 2D y 3D en grafos moleculares con pretraining auto-supervisado sin contraste, superando modelos en MoleculeNet.