본 논문은 대규모 언어 모델(LLM)의 크기와 계산 복잡도를 줄이면서 성능을 유지하기 위한 가지치기 방법으로, Shapley Value 기반의 비균일 가지치기(SV-NUP)를 제안합니다. 기존의 계층별 가지치기 방법이 모든 계층에 균일한 희소성을 적용하는 것과 달리, SV-NUP는 각 트랜스포머 계층의 기여도를 정량화하여 계층별로 맞춤형 가지치기 비율을 할당합니다. 계산 효율을 높이기 위해 Sliding Window 기반의 Shapley Value 근사 방법을 설계했습니다. LLaMA-v1, LLaMA-v2, OPT 등 다양한 LLM에 대한 실험 결과, 비균일 가지치기가 가지치기된 모델의 성능을 크게 향상시키는 것을 보여줍니다. 특히, 70% 희소성에서 SparseGPT와 비교하여 LLaMA-7B와 LLaMA-13B에 대해 각각 18.01%와 19.55%의 perplexity(PPL) 감소를 달성했습니다.
