Más allá de las sinusoides: Codificación posicional con wavelet Morlet
MoPE: codificación posicional con wavelet Morlet que unifica sinusoides y RoPE, aprende frecuencias y localidad. ¡Rendimiento superior en transformers!
#sinusoides
Más allá de las sinusoides: codificación posicional con wavelets Morlet en transformers
Descubre MoPE, un nuevo marco de codificación posicional con wavelets Morlet que unifica sinusoides y RoPE, mejorando atención y rendimiento en lenguaje.