본 논문은 대규모 언어 모델(LLM)의 효율적인 구축을 위한 새로운 구조적 가지치기 프레임워크인 AdaPruner를 제시합니다. 기존 방법들의 무작위 보정 데이터 및 고정된 중요도 측정 방식의 한계를 극복하고자, 베이지안 최적화를 통해 최적의 보정 데이터와 중요도 측정 방식을 적응적으로 탐색하는 방식을 채택합니다. AdaPruner는 LLM에서 중복 매개변수를 효과적으로 제거하여 자원 소모를 줄이고, 다양한 가지치기 비율에서 기존 방법들보다 우수한 성능을 보입니다. 특히, 20% 가지치기 비율에서도 원 모델 성능의 97%를 유지하는 성과를 보였습니다.
