Wanda++: Pruning Large Language Models via Regional Gradients
Created by
- Haebom
Category
Empty
저자
Yifan Yang, Kai Zhen, Bhavana Ganesh, Aram Galstyan, Goeric Huybrechts, Markus Muller, Jonas M. Kubler, Rupak Vignesh Swaminathan, Athanasios Mouchtaris, Sravan Babu Bodapati, Nathan Susanj, Zheng Zhang, Jack FitzGerald, Abhishek Kumar
개요
본 논문은 대규모 언어 모델(LLM)의 추론 속도를 높이기 위한 가지치기(pruning) 기법인 Wanda++를 제안합니다. 기존 방법들이 완전한 모델 희소성 인식 미세 조정 없이는 성능 저하를 겪는다는 점을 해결하기 위해, Wanda++는 디코더 블록 수준의 지역적 기울기를 활용합니다. 이를 통해 가지치기 점수를 향상시키고, 밀집 및 희소 디코더 출력 간의 가지치기로 인한 출력 불일치를 최소화하는 효율적인 지역적 최적화 방법을 제시합니다. 언어 모델링 작업에서 Wanda 대비 최대 32%의 perplexity 향상을 보이며, 하위 작업으로의 일반화도 효과적입니다. 경량화되어 7B LLaMA 모델을 단일 NVIDIA H100 GPU에서 10분 이내에 가지치기할 수 있습니다. 또한, 희소성 인식 미세 조정과의 직교성을 보이며, LoRA 미세 조정과 결합하여 Wanda와 유사한 perplexity 향상을 달성할 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
디코더 블록 수준의 지역적 기울기를 활용하여 기존 LLM 가지치기 방법보다 우수한 성능을 달성.
◦
언어 모델링 작업에서 상당한 perplexity 향상 (최대 32%) 달성.
◦
하위 작업으로의 효과적인 일반화.
◦
희소성 인식 미세 조정과의 직교성을 통해 추가적인 성능 향상 가능성 제시.
◦
경량화된 알고리즘으로 빠른 처리 속도(7B LLaMA 모델 10분 이내 가지치기).
•
한계점:
◦
본 논문에서 제시된 실험 결과가 특정 모델과 작업에 국한될 가능성. 다양한 모델과 작업에 대한 추가적인 실험 필요.
◦
지역적 기울기 최적화 방법의 일반화 가능성에 대한 추가적인 연구 필요.
◦
극단적인 희소성 수준에서의 성능 저하 가능성.
