Max-Affine Spline Insights Into Deep Network Pruning
Created by
- Haebom
Category
Empty
저자
Haoran You, Randall Balestriero, Zhihan Lu, Yutong Kou, Huihong Shi, Shunyao Zhang, Shang Wu, Yingyan Celine Lin, Richard Baraniuk
개요
본 논문은 과매개화된 심층 신경망(DNN)의 가지치기 중요성과 무작위 초기화로 훈련된 과매개화된 DNN의 가지치기와 "영리하게" 초기화된 작은 DNN의 훈련 간의 상호 관계를 연구합니다. 실무자들이 대부분 무작위 초기화에 의존해야 하므로 DNN 가지치기에 대한 근거 있는 이해가 필요합니다. 기존 연구는 주로 경험적이며, 가지치기가 DNN의 결정 경계에 미치는 영향, 가지치기의 해석, 원칙에 기반한 가지치기 기법 설계에 대한 이론적 이해가 부족합니다. 이러한 문제를 해결하기 위해 연속 조각 선형(CPA) DNN의 이론적 분석에 대한 최근 발전을 활용하여 조기 발견(EB) 티켓 현상을 탐지하고, 현재 가지치기 기법을 해석하며, 원칙에 기반한 가지치기 전략을 개발합니다. 새로운 가지치기 방법 개발보다는 DNN 가지치기에 대한 이해를 높이는 데 중점을 두지만, 계층별 및 전역 가지치기에 대한 스플라인 가지치기 기준은 최첨단 가지치기 방법과 동등하거나 능가합니다.
시사점, 한계점
•
시사점:
◦
과매개화된 DNN 가지치기와 작은 DNN 훈련 간의 상호 관계에 대한 이해를 제공합니다.
◦
CPA DNN 분석을 통해 DNN 가지치기에 대한 이론적 이해를 제공합니다.
◦
조기 발견(EB) 티켓 현상을 탐지하고 가지치기 기법을 해석할 수 있는 새로운 관점을 제시합니다.
◦
계층별 및 전역 가지치기에 대한 스플라인 가지치기 기준은 최첨단 성능을 달성합니다.
•
한계점:
◦
새로운 가지치기 방법 개발보다는 기존 가지치기에 대한 이해 증진에 초점을 맞추고 있어, 실제 적용에 있어서는 추가적인 연구가 필요할 수 있습니다.
◦
CPA DNN 분석에 기반한 연구이므로, 모든 유형의 DNN에 적용 가능한 일반성을 가지는지는 추가적인 검증이 필요합니다.
