Two-Stage Regularization-Based Structured Pruning for LLMs
Created by
Haebom
저자
Mingkuan Feng, Jinyang Wu, Siyuan Liu, Shuai Zhang, Ruihan Jin, Feihu Che, Pengpeng Shao, Zhengqi Wen, Jianhua Tao
개요
본 논문은 대규모 언어 모델(LLM)의 효율적인 배포를 위한 새로운 구조적 가지치기 방법인 TRSP(Two-Stage Regularization-Based Structured Pruning)를 제안합니다. TRSP는 기존 방법과 달리, 중요하지 않은 매개변수를 직접 제거하는 대신, 두 단계의 정규화 과정을 통해 중요한 정보를 유지하면서 모델 크기를 줄입니다. 첫 번째 단계에서는 각 트랜스포머 레이어의 출력에 학습 가능한 가중치를 곱하고, $\ell_1$-norm을 정규화 항으로 추가하여 가중치를 학습합니다. 두 번째 단계에서는 가중치가 작은 레이어의 입력과 출력 간 차이에 추가적인 정규화를 적용하여, 정보를 보존된 레이어로 이동시킵니다. 실험 결과, TRSP는 재훈련 없이 기존의 강력한 레이어 단위 구조적 가지치기 방법보다 성능이 우수하며, 상당한 속도 향상을 제공함을 보여줍니다.
