Wanda++: Pruning Large Language Models via Regional Gradients
Created by
Haebom
저자
Yifan Yang, Kai Zhen, Bhavana Ganesh, Aram Galstyan, Goeric Huybrechts, Markus Muller, Jonas M. Kubler, Rupak Vignesh Swaminathan, Athanasios Mouchtaris, Sravan Babu Bodapati, Nathan Susanj, Zheng Zhang, Jack FitzGerald, Abhishek Kumar
개요
본 논문은 추론 속도 향상을 위해 중요하지 않은 가중치를 제거하는 대규모 언어 모델(LLM) 가지치기 방법인 Wanda++를 제시합니다. 기존 방법들은 완전한 모델 희소성 인식 미세 조정 없이 정확도 저하 문제를 겪는 반면, Wanda++는 디코더 블록 수준의 지역적 기울기를 활용하여 최첨단 성능을 달성합니다. 특히, 지역적 기울기를 사용하여 가지치기 점수를 개선하고, 밀집 및 희소 디코더 출력 간의 가지치기로 인한 출력 불일치를 최소화하기 위한 효율적인 지역적 최적화 방법을 제안합니다. 언어 모델링 작업에서 Wanda에 비해 perplexity를 최대 32%까지 향상시키며, 하위 작업으로 효과적으로 일반화됩니다. 또한, 지역적 최적화를 통해 가중치를 업데이트함에도 불구하고, 희소성 인식 미세 조정과 직교하여 LoRA를 사용하여 perplexity를 더욱 감소시킵니다. 단일 H100 GPU에서 7B LLaMA 모델을 10분 이내에 가지치기하는 경량 방식입니다.
