POP: Online Structural Pruning Enables Efficient Inference of Large Foundation Models

Created by

Haebom

저자

Yi Chen, Wonjin Shin, Shuhong Liu, Tho Mai, Jeongmo Lee, Chuanbo Hua, Kun Wang, Jun Liu, Joo-Young Kim

💡 개요

본 논문은 대규모 기초 모델(LFMs)의 효율적인 추론을 위해 구조적 가지치기(structural pruning)를 제안합니다. 기존의 가지치기 방법이 추론 시 고정된 결정을 내리는 반면, 제안하는 POP(Partition-guided Online Pruning)는 컨텍스트 조건에 따라 동적으로 가지치기를 수행하여 모델 채널을 유지, 후보, 가지치기 영역으로 분할하고, 디코딩 단계에서 미세한 마스크를 생성하여 효율성을 높입니다. 이 방법은 별도의 전처리, 재학습, 예측기 학습 없이도 다양한 LFM에서 기존 방법보다 우수한 정확도와 낮은 연산 오버헤드를 달성합니다.

🔑 시사점 및 한계

•

기존의 고정된 구조적 가지치기 방식에서 벗어나, autoregressive 토큰 생성 과정에서 발생하는 희소성 패턴을 활용하는 동적 가지치기 방법을 제시합니다.

•

적은 연산 오버헤드로 대규모 언어 모델, Mixture-of-Experts 모델, Vision-Language 모델 등 다양한 종류의 기초 모델에 적용 가능하며, 성능 향상을 입증합니다.

•

본 연구는 'plug-and-play' 방식의 경량 가지치기 프레임워크를 제안하지만, 미세한 마스크 생성 과정에서의 최적화 및 다양한 모델 구조에 대한 일반화 성능에 대한 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage