Cet article propose une nouvelle méthode de génération de matrices de rotation basée sur la quantification post-entraînée (PTQ) pour relever les défis du déploiement des modèles de langage à grande échelle (LLM), qui nécessitent des ressources de calcul coûteuses. Pour remédier à la dégradation des performances des méthodes existantes basées sur la rotation à très faible largeur de bit, par exemple 2 bits, nous présentons une nouvelle approche qui réduit les erreurs de quantification en regroupant les composantes fréquentielles similaires à l'aide de la transformée de Walsh-Hadamard et de l'alignement de séquence. Plus précisément, nous démontrons la technique de rotation par alignement de séquence groupée (GSR), qui utilise une matrice diagonale par blocs avec de petits blocs de Walsh, isolant efficacement l'influence des valeurs aberrantes et obtenant des performances comparables aux méthodes d'optimisation par apprentissage. Nous validons les performances de la méthode proposée par des tâches d'inférence et des évaluations de score de perplexité (PPL) sur le jeu de données WikiText-2, démontrant ainsi son amélioration par rapport aux techniques de rotation apprises existantes.
