POD Multiescala de Atención en Transformers con Morlet
Descubre cómo el POD multiescala con wavelet Morlet extrae modos energéticos de atención en transformers, revelando jerarquía de escalas sin anotaciones.
#morlet
POD multiescala de atención en transformers: análisis por escalograma
Aplicamos POD multiescala con wavelet de Morlet a campos de atención de transformers, revelando modos dominantes y organización por capas. Sin modificaciones arquitectónicas.
Más allá de las sinusoides: Codificación posicional con wavelet Morlet
MoPE: codificación posicional con wavelet Morlet que unifica sinusoides y RoPE, aprende frecuencias y localidad. ¡Rendimiento superior en transformers!
Más allá de las sinusoides: codificación posicional con wavelets Morlet en transformers
Descubre MoPE, un nuevo marco de codificación posicional con wavelets Morlet que unifica sinusoides y RoPE, mejorando atención y rendimiento en lenguaje.
Transformador Morlet para decodificar emociones EEG entre sujetos
El Morlet Spectral Transformer (MST) decodifica emociones EEG sin preentrenamiento, superando modelos masivos en precisión e interpretabilidad.