Este artículo propone ButterflyQuant, una novedosa técnica de cuantificación que aborda la degradación del rendimiento causada por valores atípicos de activación en la cuantificación de 2 bits. Mientras que los métodos existentes basados en rotación (QuIP, QuaRot) utilizan una transformada de Hadamard fija, este artículo descubre que cada capa de un transformador exhibe patrones de valores atípicos distintos. Por lo tanto, proponemos ButterflyQuant, una transformada de mariposa aprendible que rota las capas de forma adaptativa. La transformada de mariposa es diferenciable utilizando ángulos de rotación de Givens continuos como parámetros, garantiza la ortogonalidad y tiene una complejidad computacional de $O(n \log n)$ con solo $\frac{n \log n}{2}$ parámetros aprendibles. Además, introducimos una regularización uniforme de las activaciones después de la transformación para asegurar una distribución suave adecuada para la cuantificación. Los resultados experimentales utilizando la cuantificación de 2 bits en el modelo LLaMA-2-7B muestran que ButterflyQuant supera significativamente a QuaRot.
