본 논문은 경량 신경망 모델을 위한 효율적인 가지치기 기법을 제안한다. 기존의 필터 제거 방식이 클래스별 정보를 고려하지 않아 통계적 정보 손실을 야기하는 문제점을 해결하고자, 정보 병목 이론을 기반으로 클래스별 정보를 활용하는 구조적 라쏘를 채택했다. 이를 통해 sGLP-IB (sparse graph-structured lasso pruning with Information Bottleneck)와 sTLP-IB (sparse tree-guided lasso pruning with Information Bottleneck)라는 두 가지 새로운 적응형 네트워크 가지치기 방식을 제안한다. 제안된 방법들은 여러 데이터셋과 모델 구조에서 기존 방법들보다 우수한 성능을 보였으며, VGG16 모델의 CIFAR-10 데이터셋에서 최대 85%의 파라미터 감소, 61%의 FLOPs 감소와 함께 94.10%의 정확도를 유지했다. 또한 ImageNet 데이터셋의 ResNet 구조에서 55%의 파라미터 감소와 76.12%의 정확도를 유지하여 모델 크기와 계산 자원 사용량을 줄이면서도 정확도를 효과적으로 유지함을 입증했다.
시사점, 한계점
•
시사점:
◦
클래스별 정보를 활용하여 가지치기 과정에서 통계적 정보 손실을 최소화하는 새로운 접근 방식 제시.
