ELDeR: Getting Efficient LLMs through Data-Driven Regularized Layer-wise Pruning
Created by
Haebom
저자
Mingkuan Feng, Jinyang Wu, Siyuan Liu, Shuai Zhang, Hongjian Fang, Ruihan Jin, Feihu Che, Pengpeng Shao, Zhengqi Wen, Jianhua Tao
개요
본 논문은 대규모 언어 모델(LLM)의 높은 계산 및 메모리 비용 문제를 해결하기 위해, 새로운 가지치기 방법인 ELDeR(Efficient LLMs through Data-Driven Regularized Layer-wise Pruning)을 제안합니다. 기존의 가지치기 방법들이 '가지치기 후 미세조정' 방식을 따르는 것과 달리, ELDeR은 '정규화 후 가지치기' 방식을 채택합니다. 각 트랜스포머 레이어의 출력에 초기 가중치를 곱하고, 소량의 데이터를 사용하여 각 레이어의 가중치를 반복적으로 학습합니다. 이후, 가중치가 작은 레이어의 출력과 입력 간 차이에 정규화를 적용하여 정보 손실을 최소화하고, 정보가 남은 레이어로 전달되도록 합니다. 실험 결과, ELDeR은 기존의 레이어 단위 구조적 가지치기 방법보다 우수한 성능을 달성하면서, 미세조정에 필요한 계산 비용을 크게 줄이는 것으로 나타났습니다. 레이어 단위 가지치기 방식이기 때문에 효율적인 LLM을 위한 유망한 기술입니다.
시사점, 한계점
•
시사점:
◦
기존의 '가지치기 후 미세조정' 방식의 한계를 극복하는 새로운 '정규화 후 가지치기' 방식 제시.
