#pesos de 2 bits

Qift: Cuantificación W2 sin cero para inferencia de LLM rotados

Descubre Qift: un método de cuantificación sin cero para pesos de 2 bits que mejora la precisión y eficiencia en inferencia de LLM rotados. Simple y sin entrenamiento.