FastForward Pruning: Efficient LLM Pruning via Single-Step Reinforcement Learning
Created by
Haebom
Category
Empty
저자
Xin Yuan, Siqi Li, Jiateng Wei, Chengrui Zhu, Yanming Wu, Qingpeng Li, Jiajun Lv, Xiaoke Lan, Jun Chen, Yong Liu
개요
대규모 언어 모델(LLM) 압축을 위한 효과적인 방법인 가지치기(pruning)에서 최적의 비균일 계층별 희소성 할당을 찾는 문제는 여전히 중요한 과제입니다. 기존의 휴리스틱 방법은 빠르지만 성능이 최적화되지 않고, 강화 학습(RL)과 같은 검색 기반 방식은 계산 비용이 많이 든다는 문제가 있습니다. 본 논문에서는 이러한 효율성 문제를 해결하기 위해 FastForward Pruning을 제안합니다. 이는 정책 최적화와 복잡한 예산 만족 문제를 분리하는, 분리된 단일 단계 RL 프레임워크를 핵심으로 합니다. 이 커리큘럼 기반 전략은 저비용의 간단한 작업으로 시작하여 점차적으로 복잡성을 증가시켜 검색의 계산 오버헤드를 크게 줄입니다. LLaMA, Mistral, OPT 모델군에 대한 평가 결과, 제안하는 프레임워크가 강력한 휴리스틱 기반에 비해 우수한 성능을 달성하는 정책을 발견했습니다. 또한, 다른 검색 기반 알고리즘과 비교했을 때, 계산 비용의 일부만으로 경쟁적이거나 우수한 결과를 달성하여 검색 효율성에서 명확한 이점을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM 가지치기에서 최적의 희소성 할당을 위한 효율적인 솔루션 제시
◦
계산 비용을 줄이기 위해 정책 최적화와 예산 만족 문제를 분리하는 새로운 RL 프레임워크 제안
◦
LLaMA, Mistral, OPT 모델군에서 강력한 휴리스틱 및 다른 검색 기반 방법에 비해 우수한 성능 입증
◦
계산 비용 절감을 통해 검색 효율성을 향상시킴
•
한계점:
◦
논문에서 구체적인 한계점에 대한 언급은 없음 (하지만, 향후 연구에서 더 다양한 모델과 작업에 대한 검증 필요)
