본 논문은 저자원 환경에서 효율적인 하위 작업을 위한 대규모 언어 모델(LLM) 미세 조정 방법으로 널리 사용되는 저랭크 적응(LoRA) 기법을 정량화된 LLM에 적용하는 과정에서 발생하는 문제점을 해결하기 위해 제안된 CLoQ(Calibrated LoRA initialization for Quantized LLMs) 방법을 소개한다. CLoQ는 초기화 단계에서 원래 LLM과 정량화된 LLM 간의 계층별 차이를 최소화하는 데 중점을 두고, 작은 보정 데이터셋을 활용하여 사전 훈련된 LLM을 정량화하고 각 계층에 대한 최적의 LoRA 구성 요소를 결정함으로써 후속 미세 조정을 위한 강력한 기반을 마련한다. 특히, 최적의 LoRA 구성 요소를 정확하고 폐쇄적으로 구성할 수 있도록 하는 새로운 이론적 결과를 제시하는 것이 본 연구의 주요 기여 중 하나이다. 다양한 언어 생성, 산술 추론, 상식 추론 등의 작업에서 CLoQ의 효과를 검증하여, 특히 초저 비트 너비에서 기존의 정량화된 LLM에 대한 LoRA 미세 조정 방법보다 우수한 성능을 보임을 실험적으로 입증한다.
