PostDeg: Colocación supera parametrización en GNNs LayerNorm
Descubre cómo PostDeg, un escalado sin parámetros tras LayerNorm, mejora un 5.6% tareas de selección de nodos en GNNs. La clave está en la colocación.
#layernorm
PostDeg: La ubicación supera a la parametrización en GNNs con LayerNorm
Un nuevo enfoque sin parámetros, PostDeg, mejora hasta un 5.6% la selección de nodos en GNNs al colocar un escalado post-LayerNorm. La ubicación, no la parametrización, es la clave.
Acelerar entrenamiento de Transformers con NVIDIA Apex y torch.amp
Descubre cómo acelerar el entrenamiento de Transformers usando NVIDIA Apex y torch.amp. Guía práctica con benchmarks de FusedAdam, FusedLayerNorm y rendimiento.