본 논문은 대규모 언어 모델(LLM)의 특정 작업에 대한 매개변수를 줄이는 새로운 프레임워크인 LLM-Sieve를 제시합니다. LLM-Sieve는 다양한 영역에서 20-75%의 매개변수 감소를 달성하면서 정확도 저하는 1-5% 수준으로 유지합니다. 기존의 균일한 가지치기나 저차원 근사 방식과 달리, LLM-Sieve는 작업에 맞는 공동 투영을 학습하고 유전 알고리즘을 사용하여 각 행렬에 대해 차별화된 가지치기 수준을 찾아냅니다. 또한 LoRA 미세 조정 및 양자화와 호환되며 동일한 작업 영역 내의 데이터셋에서 강력한 일반화 성능을 보여줍니다.
