대규모 언어 모델(LLM) 가지치기의 최근 발전은 고품질의 예측 성능을 유지하면서 사후 훈련 및 재훈련 없이 최첨단 압축 결과를 보여주었습니다. 그러나 이전 연구는 주로 영어 텍스트를 기반으로 보정을 고려했으나, 현대 LLM의 다국어적 특성과 비영어권 언어에서의 빈번한 사용을 간과했습니다. 본 분석 논문은 단일 언어 애플리케이션을 위해 다국어 언어 모델을 가지치기 할 때의 성능 및 내부 표현 변화에 대한 심층적인 연구를 수행합니다. 우리는 다양한 언어, 작업, 모델 및 최첨단 가지치기 기법에 걸쳐 다국어 모델 가지치기를 위한 다양한 보정 언어를 비교하는 최초의 포괄적인 실증 연구를 제시합니다. 또한, 가지치기된 모델 내의 잠재 공간, 가지치기 마스크 및 개별 뉴런을 분석합니다.
