본 논문은 신경망의 매개변수 수를 크게 줄이면서 높은 테스트 정확도를 유지하는 방법들을 비교, 개선 및 제시합니다. 제안된 방법들을 설명 길이 최소화에 적용하여 매우 효과적인 데이터 압축 알고리즘을 얻었습니다. 특히, Monte-Carlo 샘플링이 필요 없는 비선형 모델에 대한 $\ell_0$ 정규화 최적화의 확률적 재구성을 개발하여 이전 방법들을 개선하였습니다. 또한, $\ell_0$ 노름에 대한 부드러운 근사를 포함하는 방법들을 개선하고, 계층별 방법들을 조사했습니다. 이미지 데이터셋에서 훈련된 합성곱 신경망과 위키피디아 일부에서 훈련된 트랜스포머를 포함한 다양한 아키텍처와 데이터셋에서 방법들을 비교했습니다. 제어된 연속 설정에서 압축을 조사하기 위해 합성 교사-학생 설정을 만들었습니다. 마지막으로, 압축 알고리즘을 솔로모노프의 귀납적 추론 이론과 개념적으로 연결하고, 정규화된 모델이 더욱 표본 효율적인 수렴을 나타낼 수 있다는 예측을 실험적으로 검증했습니다.
