본 논문은 대규모 언어 모델(LLM)의 배포를 제한하는 높은 연산 및 메모리 요구사항을 해결하기 위해 새로운 미세 조정 가지치기 방법인 투영 가지치기(projection pruning)를 제시합니다. 기존의 조잡한 가지치기 방법의 시간 소모 및 성능 저하 문제를 해결하기 위해, 정확도를 유지하는 비정형 가지치기와 모델 크기를 줄이는 정형 가지치기를 결합한 복합 투영 가지치기를 제안합니다. 이를 기반으로, 가지치기된 LLM을 생성하고 배포하는 새로운 시스템인 Mosaic을 개발하여 다양한 하드웨어 플랫폼, LLM, 데이터셋에서 성능 및 품질 지표를 평가했습니다. Mosaic은 기존 방법보다 최대 7.19배 빠르게 모델을 생성하며, 최대 84.2% 낮은 perplexity와 31.4% 높은 정확도를 달성합니다. 또한, Mosaic 모델은 최대 67% 빠른 추론 속도와 68% 낮은 GPU 메모리 사용량을 보여줍니다.
