본 논문은 자원 제약 환경에서의 대규모 언어 모델(LLM) 배포의 어려움을 해결하기 위해 적응형 SVD 기반 LLM 압축 기법인 AdaSVD를 제안합니다. 기존 SVD 기반 방법들의 단점인 SVD 절단으로 인한 오류 및 모든 변환기 계층에 일률적인 압축 비율 적용 문제를 해결하기 위해, AdaSVD는 SVD 절단 오류를 보정하는 adaComp와 계층별 중요도에 따라 압축 비율을 다르게 적용하는 adaCR을 제시합니다. 다양한 LLM/VLM과 평가 지표를 사용한 실험 결과, AdaSVD는 기존 최첨단 SVD 기반 방법들을 능가하는 성능을 보이며, 메모리 요구량을 크게 줄이는 것을 확인했습니다. 소스 코드와 모델은 https://github.com/ZHITENGLI/AdaSVD 에서 제공됩니다.
