본 논문은 Transformer의 회전 불변성 특징을 활용하여 회전 기반 중요도 인식 가중치 양자화(ROSAQ) 기법을 제안합니다. ROSAQ는 원본 특징 공간이 아닌 투영된 특징 공간에서 중요 채널을 식별하여, PCA를 통해 투영된 주요 차원을 중요 특징으로 간주합니다. 먼저 교정 데이터셋에 PCA를 적용하여 투영하고, K개의 가장 큰 고유값에 해당하는 차원을 중요 채널로 선택합니다. 마지막으로 중요 채널에는 FP16, 나머지 채널에는 INT3/4를 사용하는 혼합 정밀도 양자화를 수행합니다. 실험 결과, ROSAQ는 기존의 중요도 인식 양자화 및 다른 양자화 방법들보다 성능 향상을 보였으며, 커널 융합과 함께 FP16 구현 대비 약 2.3배의 속도 향상을 달성했습니다 (배치 크기 64, 토큰 256개 생성).
