본 논문은 대규모 신경망을 자원 제약적인 장치에 배포하기 위한 핵심 기술인 신경망 압축 방법을 제시합니다. 기존의 방법론인 가중치 가지치기 또는 낮은 비트 양자화는 개별적으로 적용되어, 허용 가능한 성능 저하를 유지하면서 최적의 압축률을 달성하는 데 어려움이 있었습니다. 본 연구에서는 베이지안 변분 학습을 기반으로 한 동시 가지치기 및 낮은 비트 양자화를 위한 통합 프레임워크(SQS)를 제안합니다. SQS는 스파스 유도에 스파이크-앤-슬랩 사전 분포를, 낮은 비트 정밀도를 위해 가우시안 혼합 모델(GMM)을 사용하여, 기존 방법론 대비 높은 압축률과 동등한 성능을 달성합니다. 이론적으로 제안된 변분 접근 방식의 스파스 및 양자화 딥 신경망에 대한 일관성 결과를 제공합니다. ResNet, BERT-base, Llama3, Qwen2.5 모델 압축에 대한 광범위한 실험을 통해 SQS가 기존 방법론보다 높은 압축률을 보임을 입증했습니다.
