본 논문은 데이터가 없는 새로운 모델 압축 기술인 모델 접힘(model folding)을 제안합니다. 이 기법은 계층 간 구조적으로 유사한 뉴런을 병합하여 미세 조정이나 훈련 데이터 접근 없이 모델 크기를 크게 줄입니다. 기존 방법과 달리 k-means 클러스터링을 활용하고 분산 붕괴 또는 폭발을 방지하기 위한 새로운 데이터 없는 기술을 사용하여 압축 중에 데이터 통계를 보존합니다. ResNet18과 LLaMA-7B를 포함한 표준 벤치마크에 대한 이론적 프레임워크와 실험을 통해 모델 접힘이 데이터 기반 압축 기술과 비슷한 성능을 달성하고, 특히 높은 스파스성 수준에서 최근 제안된 데이터 없는 방법보다 성능이 우수함을 보여줍니다. 이 방법은 대규모 모델 압축에 특히 효과적이므로 리소스 제약 환경에서의 배포에 적합합니다.
