Do Sparse Subnetworks Exhibit Cognitively Aligned Attention? Effects of Pruning on Saliency Map Fidelity, Sparsity, and Concept Coherence
Created by
Haebom
저자
Sanish Suwal, Dipkamal Bhusal, Michael Clifford, Nidhi Rastogi
개요
신경망의 가지치기가 모델의 성능 유지에 미치는 영향은 잘 알려져 있지만, 모델 해석가능성에 미치는 영향은 불분명하다. 본 연구에서는 크기 기반 가지치기 후 미세 조정을 통해 저수준 중요도 맵과 고수준 개념 표현이 어떻게 변화하는지 조사한다. ImageNette에서 훈련된 ResNet-18을 사용하여 가지치기 수준에 따라 Vanilla Gradients(VG) 및 Integrated Gradients(IG)의 사후 해석을 비교하고, 희소성과 충실도를 평가한다. 또한 CRAFT 기반 개념 추출을 적용하여 학습된 개념의 의미론적 일관성 변화를 추적한다.
시사점, 한계점
•
경미하거나 중간 정도의 가지치기는 중요도 맵의 집중도와 충실도를 개선하는 동시에 뚜렷하고 의미 있는 개념을 유지한다.
•
과도한 가지치기는 정확도를 유지하면서도 이질적인 특징을 병합하여 중요도 맵의 희소성과 개념 일관성을 감소시킨다.
•
가지치기가 내부 표현을 인간과 유사한 주의 패턴으로 형성할 수 있지만, 과도한 가지치기는 해석 가능성을 저해한다.
