FAIR-Pruner는 복잡한 신경망의 매개변수 규모를 줄여 효율적인 엣지 장치 배포를 가능하게 하는 신경망 가지치기 기법입니다. 이 방법은 각 레이어의 희소성 수준을 적응적으로 결정하고 가지치기할 유닛을 식별합니다. FAIR-Pruner는 아키텍처 수준(활용 점수)과 작업 수준(재구성 점수)의 중요도 점수를 균형 있게 조정하기 위해 설계된 새로운 지표인 ToD(Tolerance of Differences)를 도입합니다. ToD를 미리 설정된 수준에서 제어하여 레이어별 임계값을 결정하고, 해당 임계값 미만의 활용 점수를 가진 유닛을 제거합니다. FAIR-Pruner는 임계값 결정과 중요도 추정을 분리하여 다양한 가지치기 비율에서 가지치기된 모델을 유연하게 얻을 수 있도록 합니다.
시사점, 한계점
•
시사점:
◦
FAIR-Pruner는 높은 압축률에서도 높은 정확도를 유지하며, state-of-the-art 성능을 달성합니다.
◦
ToD 기반 레이어별 가지치기 비율은 기존의 강력한 중요도 측정에 직접 적용하여 균일 가지치기 하에서도 성능을 향상시킬 수 있습니다.
