Este artículo presenta BASE-Q, un método propuesto para mejorar la eficacia de las técnicas de rotación en el proceso de cuantificación de modelos de lenguaje a gran escala (LLM). Los métodos de cuantificación basados en rotación existentes presentan desalineación de la media del canal y un aumento de errores de redondeo y recorte debido a las distribuciones de activación gaussiana. BASE-Q reduce eficazmente estos errores combinando la corrección de sesgo y el escalamiento asimétrico. Además, elimina la retropropagación del modelo completo, que consume mucha memoria, mediante la optimización por bloques. Los resultados experimentales en varios LLM y pruebas de referencia demuestran que BASE-Q reduce las pérdidas de precisión en un 50,5 %, un 42,9 % y un 29,2 %, respectivamente, en comparación con los métodos existentes (QuaRot, SpinQuant y OSTQuant).
