Inicialización: Mitad de la batalla - Imágenes diversas con posterior de guía
La inicialización con potencial de guía (DivIn) mejora la diversidad en modelos generativos. Superior en difusión y flujo matching.
#inicialización
Relación entre activaciones atípicas y muerte de características en SAE
Descubre cómo los valores atípicos en las activaciones neuronales provocan la muerte de características en autoencoders dispersos y cómo solucionarlo con centrado de media.
NeUQI: Inicialización Casi Óptima para Cuantización Uniforme en LLMs
Descubre NeUQI, un método de inicialización casi óptima para cuantización uniforme en LLMs. Mejora el rendimiento y reduce el consumo de memoria. ¡Lee más!