RoSTE: An Efficient Quantization-Aware Supervised Fine-Tuning Approach for Large Language Models
Created by
Haebom
저자
Quan Wei, Chung-Yiu Yau, Hoi-To Wai, Yang Katie Zhao, Dongyeop Kang, Youngsuk Park, Mingyi Hong
개요
본 논문은 사전 훈련된 대규모 언어 모델(LLM)을 하위 작업에 적용하기 위한 표준 방법인 지도 미세 조정과 효율적인 LLM 배포를 위한 후처리 기술로서의 양자화에 초점을 맞춥니다. 기존 파이프라인은 먼저 사전 훈련된 모델을 미세 조정한 후 후처리 양자화를 수행하지만, 이는 미세 조정과 양자화 간의 시너지를 활용하지 못하여 최적이 아닌 성능을 제공합니다. 본 논문에서는 LLM의 가중치, 활성화 및 KV 캐시의 저비트 양자화를 효과적으로 실현하기 위해, 양자화 인식 지도 미세 조정(QA-SFT)과 활성화 이상치를 줄이기 위한 효과적인 회전 구성을 식별하는 적응형 회전 전략을 결합한 Rotated Straight-Through-Estimator (RoSTE) 알고리즘을 제안합니다. 과매개화된 최소 제곱 양자화 훈련 문제에 적용된 RoSTE의 예측 오류를 분석하여 이론적 통찰력을 제공하며, 예측 오류는 수렴된 가중치의 양자화 오류에 정비례하고 최적화된 회전 구성을 통해 효과적으로 관리될 수 있음을 밝힙니다. Pythia, Qwen, Llama 모델 등 다양한 크기의 모델에 대한 실험을 통해 RoSTE의 효과를 보여주며, 기존의 후-SFT 양자화 기준선과 비교하여 다양한 작업과 LLM 아키텍처에서 일관되게 우수한 성능을 달성함을 보여줍니다. 코드는 https://github.com/OptimAI-Lab/RoSTE 에서 이용 가능합니다.
