본 논문은 대규모 언어 모델(LLM)의 메모리 소모 및 느린 추론 속도 문제를 해결하기 위한 새로운 원샷 압축 프레임워크인 SLIM을 제시합니다. 기존의 모델 압축 기법들은 정확도 유지를 위해 계산적으로 비용이 많이 드는 재훈련이 필요하지만, SLIM은 재훈련 없이도 정확도를 유지하면서 모델 크기를 줄입니다. SLIM은 하드웨어 친화적인 양자화, 희소성, 저차원 근사를 통합하여, 확률적 접근 방식을 사용한 양자화(SLIM-Quant), 기존의 원샷 가지치기 방법을 이용한 반구조적 희소성 적용, 그리고 고유한 가역적이고 가산적인 특징을 가진 새로운 중요도 함수를 사용한 저차원 어댑터 계산을 수행합니다. 실험 결과, SLIM은 기존 방법보다 최대 5.66%의 정확도 향상을 보였으며, 최대 4.3배(RTX 3060) 및 3.8배(A100)의 속도 향상과 최대 0.23배의 메모리 감소 효과를 달성했습니다. 또한, 선택적 PEFT 레시피를 통해 추가적인 정확도 향상을 달성했습니다.
