FaCT: Faithful Concept Traces for Explaining Neural Network Decisions
Created by
- Haebom
Category
Empty
저자
Amin Parchami-Araghi, Sukrut Rao, Jonas Fischer, Bernt Schiele
개요
딥 네트워크는 다양한 작업에서 뛰어난 성능을 보이지만, 작동 방식에 대한 전반적인 개념 수준의 이해는 여전히 주요 과제로 남아 있습니다. 모델의 작동 방식을 이해하기 위해 많은 사후 개념 기반 접근 방식이 도입되었지만, 항상 모델에 충실하지 않습니다. 또한, 클래스 특수성, 작은 공간적 범위 또는 인간의 기대에 대한 정렬과 같은 모델이 학습하는 개념에 대한 제한적인 가정을 합니다. 본 연구에서는 이러한 개념 기반 설명의 충실성에 중점을 두고 모델 내재적 기계론적 개념 설명을 갖춘 새로운 모델을 제안합니다. 본 연구의 개념은 클래스 간에 공유되며, 모든 레이어에서 로짓에 대한 기여도와 입력 시각화를 충실하게 추적할 수 있습니다. 또한, 파운데이션 모델을 활용하여 개념 기반 방법을 평가하는 데 사용할 수 있는 새로운 개념 일관성 메트릭인 C$^2$-Score를 제안합니다. 이전 연구에 비해 본 연구의 개념이 정량적으로 더 일관성이 있으며 사용자는 본 연구의 개념을 더 해석 가능하다고 생각하는 동시에 경쟁력 있는 ImageNet 성능을 유지합니다.
시사점, 한계점
•
모델 내재적 기계론적 개념 설명을 통해 딥 네트워크의 작동 방식을 더 잘 이해할 수 있도록 지원.
•
클래스 간에 공유되는 개념과 레이어별 로짓 기여도 및 입력 시각화를 통해 개념을 추적 가능하게 함.
•
개념 기반 방법을 평가하기 위한 새로운 개념 일관성 메트릭 C$^2$-Score 제안.
•
ImageNet 성능을 유지하면서 개념의 일관성과 해석 가능성을 향상시킴.
•
사후 개념 기반 방법의 충실성에 대한 의존성을 극복.
•
모델의 한계는 논문에 구체적으로 언급되지 않음.
