PC Layer: Preacondicionamiento de Pesos Polinomial para Mejorar el Pre-entrenamiento de LLMs
La capa PC estabiliza el espectro de valores singulares en LLMs, mejorando convergencia sin overhead de inferencia. Optimiza tu pre-entrenamiento.
#pesos polinomiales