본 논문은 대규모 언어 모델(LLM)의 효율적인 압축 전략 개발의 중요성을 강조하며, 특히 특이값 분해(SVD) 기반의 압축 방법을 개선한 ResSVD를 제안합니다. 기존 SVD 기반 방법들이 가지는 잘림 손실(truncation loss) 문제와 모든 계층 압축으로 인한 성능 저하 문제를 해결하기 위해, ResSVD는 잘림 과정에서 생성된 잔여 행렬(residual matrix)을 활용하고, 일정한 압축 비율 하에서 마지막 몇 개의 계층만 선택적으로 압축하는 방식을 채택합니다. 다양한 LLM과 벤치마크 데이터셋에 대한 실험 결과, ResSVD는 기존 방법들보다 우수한 성능을 달성함을 보여줍니다.
