EvoP: Robust LLM Inference via Evolutionary Pruning
Created by
Haebom
저자
Shangyu Wu, Hongchao Du, Ying Xiong, Shuai Chen, Tei-wei Kuo, Nan Guan, Chun Jason Xue
개요
본 논문은 자원 제약 환경에서의 대규모 언어 모델(LLM) 배포 문제를 해결하기 위해 진화적 가지치기 프레임워크인 EvoP를 제안합니다. 기존 모델 가지치기 방법들의 휴리스틱한 전략과 데이터 특성 무시 문제를 극복하기 위해, EvoP는 다양한 교정 데이터셋을 생성하는 클러스터 기반 교정 데이터셋 샘플링(CCDS) 전략과 최적의 가지치기 패턴을 찾는 진화적 가지치기 패턴 탐색(EPPS) 방법을 제시합니다. 다양한 LLM과 하위 작업에 대한 실험을 통해 EvoP의 효과성을 검증하며, 실제 응용 프로그램에 LLM을 배포하기 위한 실용적이고 확장 가능한 솔루션임을 보여줍니다.