본 논문은 경량화된 신경망 모델을 위해 기존 필터 제거 방식의 통계 정보 손실 문제를 해결하고자 합니다. 이를 위해 정보 병목 이론을 활용하여 클래스별 정보를 정확하게 반영하는 구조화된 Lasso 기법을 제안합니다. 제안된 두 가지 방법론(sGLP-IB, sTLP-IB)은 클래스별 관련성을 고려하여 모델 필터를 효율적으로 가지치기하여 모델 크기와 계산량을 줄이면서도 정확도를 유지합니다.
🔑 시사점 및 한계
•
클래스별 정보를 통합한 구조화된 Lasso pruning은 모델 경량화와 정확도 유지라는 두 가지 목표를 동시에 달성할 수 있습니다.
•
정보 병목 이론을 통해 가지치기 전후의 통계 정보 손실을 최소화하여 모델 성능 저하를 방지합니다.
•
제안된 방법론은 다양한 데이터셋과 모델 구조에 걸쳐 기존 최신 방법론 대비 우수한 성능을 보였습니다.
•
향후 연구에서는 더 복잡한 모델 구조나 다른 유형의 신경망에 대한 적용 가능성을 탐색하거나, 가지치기 과정에서 발생하는 계산 복잡성을 최적화하는 방안을 고려할 수 있습니다.
