본 논문은 심층 신경망(NN)의 가변 매개변수를 압축하기 위한 새로운 방법을 제안합니다. 기존의 텐서 분해/인수분해 및 얕은 텐서 네트워크 기반 압축 방식과 달리, 자동 미분 가능한 심층 텐서 네트워크(ADTN)를 이용하여 NN의 매개변수를 효율적으로 압축합니다. 다양한 유형의 NN(선형, 합성곱 등)에 적용 가능하며, FC-2, LeNet-5, AlexNet, ZFNet, VGG-16 등의 NN과 MNIST, CIFAR-10, CIFAR-100 등의 데이터셋을 사용한 실험 결과, 기존보다 우수한 압축 성능과 정확도 향상을 보여줍니다. 예를 들어, VGG-16의 약 10⁷개 매개변수를 가진 두 개의 선형 레이어를 단 424개 매개변수의 두 개의 ADTN으로 압축하여 CIFAR-10 데이터셋에서 테스트 정확도를 90.17%에서 91.74%로 향상시켰습니다. ADTN의 심층 구조가 뛰어난 압축 성능의 핵심 요인이라고 주장합니다.
