Atención Top-Theta: Adelgazamiento de Transformers con Umbralización Compensada
Top-Theta: reduce 10x la memoria de atención en transformers con menos del 1% de pérdida. Sin reentrenamiento. Ideal para NLP.
#sparc
Compresión de imágenes aprendida para modelos Visión-Lenguaje-Acción
Descubre SPARC: compresión de imágenes que asigna bitrate según relevancia, mejorando el control robótico con modelos VLA.
ATN3D: Detección 3D temprana con LiDAR-Radar en esparcidad extrema
ATN3D: nuevo framework LiDAR-Radar para detección 3D temprana. Mejora en +3.55% mAP en claras y +8.41% en niebla.
Supervisión densa y actualizaciones dispersas en OPD
Analizamos la estructura de actualizaciones en OPD: son pequeñas, dispersas y aprovechan subredes, revelando claves para optimización post-training.