본 논문은 대규모 언어 모델(LLM)의 경량화 배포 및 모델 희소성을 위한 핵심 기술 중 하나인 사후 학습 가지치기(Post-training pruning)에 대해 다룹니다. 기존의 헤시안 행렬 기반 가지치기 방법들은 이차 도함수 계산의 높은 계산 비용으로 인해 가지치기 속도와 실질적인 효과 면에서 한계를 가지고 있습니다. 본 논문에서는 헤시안 행렬 계산이 필요 없는 새로운 헤시안-프리 가중치 가지치기 방법인 SwiftPrune을 제시합니다. SwiftPrune은 기여도 기반 가중치 측정법을 도입하여 이차 도함수에 의존하지 않고 가중치의 중요도를 평가하며, 지수 가중 이동 평균(EWMA) 기법을 사용하여 가중치 정렬을 생략함으로써 LLM 정확도에 가장 크게 기여하는 가중치를 선택하고 시간 복잡도를 더욱 줄입니다. 또한 구조적 희소성 가지치기를 지원하여 최신 하드웨어 가속기에서 효율적인 실행을 가능하게 합니다. LLaMA2, LLaMA3, Pythia 세 가지 LLM에서 SwiftPrune을 검증하여 압축 성능을 크게 향상시킴을 보여줍니다. 실험 결과, SwiftPrune은 가지치기 과정을 수 초 내에 완료하며, 기존 최첨단 방법보다 평균 12.29배(최대 56.02배)의 속도 향상을 달성합니다.
