본 논문은 대규모 언어 모델(LLM)의 크기와 계산 복잡도를 줄이면서 성능을 유지하기 위해 층별 가지치기 방법을 제안합니다. 기존의 균일한 가지치기 방식은 모든 층에 동일한 희소성을 적용하여 각 트랜스포머 층의 중요성 차이를 고려하지 못하는 한계가 있습니다. 따라서 본 논문에서는 Shapley Value를 기반으로 각 층의 기여도를 정량화하여 각 층에 맞춤형 가지치기 비율을 할당하는 Shapley Value 기반 비균일 가지치기(SV-NUP) 방법을 제안합니다. 계산 효율을 높이기 위해 Sliding Window 기반 Shapley Value 근사 방법도 함께 제시합니다. LLaMA-v1, LLaMA-v2, OPT 등 다양한 LLM에 대한 실험을 통해 SV-NUP의 효과를 검증하였으며, 비균일 가지치기가 가지치기된 모델의 성능을 크게 향상시킨다는 것을 보여줍니다. 특히, 70% 희소성에서 SparseGPT와 비교하여 LLaMA-7B와 LLaMA-13B에 대해 각각 18.01%와 19.55%의 perplexity 감소를 달성했습니다.
