본 논문은 대규모 언어 모델(LLM)의 매개변수 규모를 줄이고 추론 효율성을 높이기 위한 새로운 가지치기 방법인 동적 계층별 가지치기(Dynamic Layerwise Pruning, DLP)를 제안합니다. 기존의 균일한 계층별 가지치기 방법은 높은 스파스성 수준에서 성능 저하를 초래하는 반면, DLP는 모델 가중치와 입력 활성화 정보를 통합하여 각 계층의 상대적 중요도를 적응적으로 결정하고, 그에 따라 가지치기 비율을 할당합니다. 실험 결과, DLP는 여러 LLM에서 높은 스파스성 수준에서도 모델 성능을 효과적으로 유지하며, 특히 70% 스파스성에서 LLaMA2-7B의 perplexity를 7.79 감소시키고 평균 정확도를 2.7% 향상시켰습니다. 또한, DLP는 기존의 다양한 LLM 압축 기술과 호환되며 매개변수 효율적인 미세 조정(PEFT)에도 원활하게 통합될 수 있습니다.
