본 논문은 저계수 적응(LoRA)의 성능 향상을 위한 정현파 변환 기법을 양자화된 LoRA 어댑터에 적용하는 방법을 제시합니다. LoRA는 매개변수 효율적인 미세 조정 기법으로, 업데이트를 두 개의 저계수 행렬의 곱으로 모델링하여 학습 가능한 매개변수를 크게 줄입니다. 하지만 저계수 제약으로 인해 성능 저하가 발생할 수 있습니다. 기존 연구에서 제안된 정현파 변환 기법은 추가 매개변수 없이 안정적인 계수를 증가시켜 이러한 한계를 해결했습니다. 본 논문은 이 기법을 양자화된 LoRA 어댑터에 확장하여 모델 압축 후에도 성능을 유지하는 방법을 연구합니다. 이론적 분석을 통해 양자화된 어댑터의 안정적인 계수가 전 정밀도 어댑터와 밀접하게 관련되어 있음을 보이고, 양자화 하에서도 계수 향상 함수의 사용을 정당화합니다. 다양한 언어, 비전, 텍스트-이미지 생성 과제에 대한 실험 결과를 통해 정현파 비선형성을 통한 표현력 향상이 양자화 후에도 유지되며, 경쟁력 있는 정확도를 유지하면서 메모리 절약을 달성함을 보여줍니다.
