From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models

Created by

Haebom

저자

Ziyan Wang, Enmao Diao, Qi Le, Pu Wang, Minwoo Lee, Shu-ping Yeh, Evgeny Stupachenko, Hao Feng, Li Yang

💡 개요

이 논문은 대규모 언어 모델(LLM)의 효율적인 배포를 위한 구조적 가지치기(structured pruning) 기법을 개선하는 데 초점을 맞춥니다. 기존의 국소적(local) 가지치기 방식이 작업별 성능 향상에 한계를 보이자, 본 연구는 전역적(global) 관점에서 가지치기를 수행하는 GISP(Global Iterative Structured Pruning) 방법을 제안합니다. GISP는 손실 기반 중요도 점수를 활용하여 반복적으로 구조를 제거함으로써, 원래 모델의 성능을 유지하면서도 더 높은 희소성을 달성하고 특정 작업에 대한 성능을 향상시킵니다.

🔑 시사점 및 한계

•

작업 맞춤형 가지치기의 중요성: 전역적인 중요도 측정과 반복적인 가지치기 프로세스를 통해, 단순히 일반적인 성능 지표(예: perplexity)를 유지하는 것을 넘어 특정 다운스트림 작업에 대한 성능을 효과적으로 향상시킬 수 있음을 보여줍니다.

•

'한 번 가지치기, 여러 번 배포' 워크플로우 지원: 반복적 가지치기 과정에서 생성되는 중첩된 서브네트워크 구조는 다양한 희소성 수준에 맞는 모델을 효율적으로 관리하고 배포할 수 있는 가능성을 제시합니다.

•

가지치기 시점 및 복잡성: 본 연구는 후학습(post-training) 가지치기 방법론을 제시하지만, 최적의 가지치기 일정이나 특정 작업에 따른 가지치기 강도 조절에 대한 추가적인 연구가 필요할 수 있습니다. 또한, 대규모 모델에 대한 반복적인 최적화 과정 자체의 계산 비용도 고려해야 할 부분입니다.

PDF 보기

Made with Slashpage