본 논문은 소형 언어 모델(SLM)의 성능 향상을 위한 새로운 가속화 방법인 Adapt-Pruner를 제안합니다. 기존의 SLM 학습 방법들은 처음부터 학습하는 방법(높은 계산 비용)이나 대형 언어 모델(LLM)을 압축/가지치기하는 방법(성능 저하)의 한계를 가지고 있습니다. Adapt-Pruner는 구조적 가지치기와 모델 학습을 결합하여 이러한 한계를 극복합니다. LLM에서 계층별 적응적 가지치기(Adapt-Pruner)가 기존 가지치기 기법들보다 효과적임을 보이며, 추가 학습과 결합하면 처음부터 학습한 모델과 비슷한 성능을 달성합니다. 증분적 가지치기를 통해 매번 소량의 뉴런(~5%)만 제거하면서 성능 향상을 얻을 수 있음도 확인했습니다. LLaMA-3.1-8B를 사용한 실험 결과, Adapt-Pruner는 기존 방법들보다 평균 1%-7% 높은 정확도를 보였고, MobileLLM-125M의 성능을 600M 수준으로 복원하며, 새로운 1B 모델이 LLaMA-3.2-1B를 능가하는 결과를 얻었습니다.
