본 논문은 시각 인식 작업에서 뛰어난 성능을 보이는 딥 뉴럴 네트워크의 파라미터 수를 줄이기 위한 연구를 제시한다. 특히, 추가 학습 없이 모델 크기를 줄이는 원샷 프루닝(one-shot pruning)의 정확도 저하 문제를 해결하기 위해, 모델 파라미터의 분산을 증가시키는 새로운 정규화 기법인 VAR (Variance Amplifying Regularizer)을 제안한다. VAR은 파라미터 분산이 높은 모델이 프루닝에 강하다는 점에 착안하여, 가중치 분포의 분산을 의도적으로 증가시켜 프루닝 후의 정확도 저하를 완화한다. 이론적 분석과 실험을 통해 VAR의 수렴 특성을 분석하고, 기존의 프루닝-강건(pruning-robust) 최적화 기법보다 우수한 성능을 입증한다.
