대규모 언어 모델(LLM)의 광범위한 사용에도 불구하고, 모델 크기가 크기 때문에 특정 자원을 가진 소수만이 LLM을 활용할 수 있다. 본 논문은 LLM 파인튜닝 후 파라미터 업데이트를 효율적으로 저장하는 데 초점을 맞춘다. 특히, 파인튜닝 업데이트가 로우 랭크(low-rank) 및 희소(sparse)하다는 점에 착안하여, 로우 랭크 근사 및 희소성을 활용하는 방법을 제시한다. 더 나아가, 중요한 특이 성분(singular components)을 유지하기 위해 최적의 특이 손상(optimal singular damage)이라는 방법을 제안, 로우 랭크 근사된 업데이트를 선택적으로 희소화한다. 실험을 통해 제안된 방법이 저장 효율성을 높이고 정확도를 향상시킴을 입증한다.
