본 논문은 계산 및 메모리 자원이 제한된 환경에서 대규모 기초 모델을 효율적으로 적응시키는 방법을 제시한다. 기존의 Parameter-Efficient Fine-Tuning (PEFT) 방법인 LoRA는 매개변수가 적은 경우 세밀한 조정과 효율성이 제한적이다. 본 논문에서는 잔차 행렬의 웨이블릿 영역에서 매우 드문 업데이트를 학습하는 새로운 PEFT 방법인 Wavelet Fine-Tuning (WaveFT)를 제안한다. WaveFT는 학습 가능한 매개변수를 정밀하게 제어하여 세분화된 용량 조정을 제공하며, LoRA보다 훨씬 적은 매개변수로도 뛰어난 성능을 보인다. Stable Diffusion XL을 기반으로 한 개인화된 텍스트-이미지 생성 작업에서 WaveFT는 특히 매개변수 수가 적을 때 LoRA 및 다른 PEFT 방법보다 우수한 주제 충실도, 프롬프트 정렬 및 이미지 다양성을 달성하여 성능을 크게 능가함을 보였다.
