Este artículo propone un nuevo método de generación de matrices de rotación basado en la cuantificación post-entrenamiento (PTQ) para abordar los desafíos de implementación de modelos de lenguaje a gran escala (LLM), que requieren recursos computacionales costosos. Para abordar la degradación del rendimiento de los métodos existentes basados en rotación con anchos de bits muy bajos, como 2 bits, presentamos un enfoque novedoso que reduce los errores de cuantificación mediante la agrupación de componentes de frecuencia similares mediante la transformada de Walsh-Hadamard y el alineamiento de secuencias. Específicamente, demostramos la técnica de Rotación de Alineamiento de Secuencia Agrupada (GSR), que utiliza una matriz diagonal de bloques con pequeños bloques de Walsh, aislando eficazmente la influencia de valores atípicos y logrando un rendimiento comparable al de los métodos de optimización basados en aprendizaje. Validamos el rendimiento del método propuesto mediante tareas de inferencia y evaluaciones de la puntuación de perplejidad (PPL) en el conjunto de datos WikiText-2, demostrando su mejora en el rendimiento con respecto a las técnicas de rotación aprendida existentes.
