본 논문은 대규모 언어 모델(LLM)의 매개변수 규모를 줄이고 추론 효율을 높이기 위한 새로운 가지치기 방법인 동적 계층별 가지치기(Dynamic Layerwise Pruning, DLP)를 제안합니다. 기존의 균일한 계층별 가지치기 방법은 높은 스파스성 수준에서 성능 저하를 초래하는 반면, DLP는 모델 가중치와 입력 활성화 정보를 통합하여 각 계층의 상대적 중요도를 적응적으로 결정하고, 그에 따라 가지치기 비율을 할당합니다. 실험 결과, DLP는 여러 LLM에서 높은 스파스성 수준에서도 모델 성능을 효과적으로 유지하는 것으로 나타났습니다. 특히, 70% 스파스성에서 LLaMA2-7B의 perplexity를 7.79 감소시키고 평균 정확도를 2.7% 향상시켰으며, 기존의 다양한 LLM 압축 기술과 호환되고 PEFT에도 통합 가능합니다. 소스 코드는 공개되었습니다.
