본 논문은 대규모 언어 모델(LLM)의 매개변수 규모를 줄이고 추론 효율을 향상시키기 위한 새로운 가지치기 방법인 동적 계층별 가지치기(Dynamic Layerwise Pruning, DLP)를 제안합니다. 기존의 균일한 계층별 가지치기 방법과 달리, DLP는 모델 가중치와 입력 활성화 정보를 통합하여 각 계층의 상대적 중요도를 적응적으로 결정하고, 이에 따라 가지치기 비율을 할당합니다. 실험 결과, DLP는 여러 LLM에서 높은 스파스성 수준에서도 모델 성능을 효과적으로 유지하는 것으로 나타났습니다. 특히, 70% 스파스성에서 LLaMA2-7B의 perplexity를 7.79 감소시키고 평균 정확도를 2.7% 향상시켰으며, 기존 최첨단 방법보다 우수한 성능을 보였습니다. 또한, DLP는 다양한 기존 LLM 압축 기술과 호환되며, 매개변수 효율적인 미세 조정(PEFT)에도 원활하게 통합될 수 있습니다. 소스 코드는 공개되었습니다.
