Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Wanda++: Pruning Large Language Models via Regional Gradients

Created by
  • Haebom

저자

Yifan Yang, Kai Zhen, Bhavana Ganesh, Aram Galstyan, Goeric Huybrechts, Markus Muller, Jonas M. Kubler, Rupak Vignesh Swaminathan, Athanasios Mouchtaris, Sravan Babu Bodapati, Nathan Susanj, Zheng Zhang, Jack FitzGerald, Abhishek Kumar

개요

본 논문은 대규모 언어 모델(LLM)의 추론 속도를 높이기 위한 가지치기(pruning) 프레임워크인 Wanda++를 제시합니다. 기존 방법들이 완전한 모델 희소성 인식 미세 조정 없이는 정확도 저하 문제를 겪는 것과 달리, Wanda++는 디코더 블록 수준의 지역적 기울기를 활용하여 성능을 개선합니다. 특히, 지역적 기울기를 사용하여 가지치기 점수를 개선하고, 밀집 및 희소 디코더 출력 간의 가지치기로 인한 출력 불일치를 최소화하기 위한 효율적인 지역적 최적화 방법을 제안합니다. 언어 모델링 작업에서 Wanda에 비해 perplexity를 최대 32%까지 향상시키며, 하위 작업으로의 일반화도 효과적입니다. 또한, 지역적 최적화로 가중치를 업데이트함에도 불구하고, 희소성 인식 미세 조정과 직교적이며, LoRA를 사용하여 perplexity를 더욱 감소시킵니다. 7B LLaMA 모델을 단일 H100 GPU에서 10분 이내에 가지치기할 수 있을 만큼 경량입니다.

시사점, 한계점

•
시사점:
◦
지역적 기울기를 활용한 효율적인 LLM 가지치기 프레임워크 Wanda++ 제시.
◦
기존 방법 대비 향상된 perplexity 및 하위 작업 성능.
◦
희소성 인식 미세 조정과의 직교성으로 추가적인 성능 향상 가능성.
◦
경량화된 처리 시간으로 실용성 증대.
•
한계점:
◦
논문에서 제시된 실험 결과의 일반화 가능성에 대한 추가적인 검증 필요.
◦
다양한 크기의 LLM에 대한 성능 평가 추가 필요.
◦
지역적 최적화 방법의 한계 및 개선 방향에 대한 추가적인 연구 필요.
👍
Made with Slashpage