본 논문은 기존의 모델 압축 방법들이 가지는 한계점, 즉, 중요한 연결만 유지하는 데 집중하여 후속 미세 조정이나 지식 증류 과정에서의 효율성을 고려하지 않고, 특히 GAN에 초점을 맞춰 Diffusion Model에는 적용되지 못하는 점을 지적합니다. 이를 해결하기 위해, 본 논문에서는 GAN과 Diffusion Model 모두에 적용 가능한 새로운 가중치 미세 조정 기법인 Singular Value Scaling (SVS)을 제안합니다. SVS는 가지치기된 가중치의 특이값 분포를 최적화하여 미세 조정 과정의 효율성을 높이고 성능을 개선하는 데 중점을 둡니다. StyleGAN2, StyleGAN3, DDPM에 대한 실험 결과, SVS는 추가적인 훈련 비용 없이 다양한 모델에서 압축 성능을 향상시키는 것을 보여줍니다.
