Equivalencia funcional en atención: estudio sobre codificaciones posicionales
Descubre cómo las codificaciones posicionales sinusoidales y RoPE afectan la equivalencia funcional en Transformers y su conectividad lineal. Un estudio clave
#sinusoidal
Adaptadores de profundidad para codificadores RGB con preprocesamiento sinusoidal
Descubre cómo los adaptadores de profundidad con preprocesamiento sinusoidal mejoran la precisión en tareas RGBD, alcanzando 56.05 mIoU en SUN-RGBD. Sin necesidad de ajuste fino.
SirenFNO: Aprendizaje completo y eficiente de operadores de Fourier
SirenFNO aprende frecuencias completas sin truncamiento, eliminando el sesgo espectral de FNO. Reduce parámetros hasta 73 veces en PDEs con oscilaciones de alta frecuencia. ¡Mejora la eficiencia!