PostDeg: Colocación supera parametrización en GNNs LayerNorm
Descubre cómo PostDeg, un escalado sin parámetros tras LayerNorm, mejora un 5.6% tareas de selección de nodos en GNNs. La clave está en la colocación.
Descubre cómo PostDeg, un escalado sin parámetros tras LayerNorm, mejora un 5.6% tareas de selección de nodos en GNNs. La clave está en la colocación.
Un nuevo enfoque sin parámetros, PostDeg, mejora hasta un 5.6% la selección de nodos en GNNs al colocar un escalado post-LayerNorm. La ubicación, no la parametrización, es la clave.
Descubre cómo acelerar el entrenamiento de Transformers usando NVIDIA Apex y torch.amp. Guía práctica con benchmarks de FusedAdam, FusedLayerNorm y rendimiento.