본 논문은 심층 신경망(DNN)의 잠재 표현에 대한 이해를 높여 중요한 컴퓨터 비전(CV) 작업에서 DNN을 검증하는 것을 목표로 합니다. 기존의 개념 기반 설명 가능한 인공 지능(C-XAI) 방법들은 사용자 정의 개념(예: "자동차")을 DNN 잠재 공간에서 단일 벡터(개념 임베딩 벡터)와 연결하는데, 이는 개념에 속하는 활성화 맵 픽셀과 배경 픽셀을 선형적으로 분리합니다. 하지만 기존 방법들은 암묵적으로 학습된 하위 개념(예: DNN이 "자동차"를 "가까운 자동차"와 "먼 자동차"로 분할하는 경우)과 사용자 정의 개념 간의 중복(예: "버스"와 "트럭" 간)을 포착하지 못합니다. 즉, 잠재 공간에서 개념 표현의 전체 분포를 포착하지 못합니다. 본 논문은 이러한 단순화가 자주 깨지는 것을 최초로 보여주고, 분포 정보가 DNN이 학습한 하위 개념, 개념 혼동 및 개념 이상치를 이해하는 데 특히 유용할 수 있음을 제시합니다. 학습된 개념 분포를 탐색하기 위해, 본 논문은 새로운 지역 개념 분석 프레임워크를 제안합니다. 전체 데이터셋에서 단일 전역 개념 벡터를 최적화하는 대신, 각 샘플에 대한 지역 개념 임베딩(LoCE) 벡터를 생성합니다. LoCE의 분포를 사용하여 가우시안 혼합 모델(GMM), 계층적 클러스터링, 개념 수준 정보 검색 및 이상치 탐지를 통해 잠재 개념 분포를 탐색합니다. 문맥 민감성에도 불구하고, 제안된 방법의 개념 분할 성능은 전역 기준선과 경쟁력이 있습니다. 분석 결과는 세 가지 데이터셋과 비전 트랜스포머(ViT)를 포함한 6가지 다양한 비전 DNN 아키텍처에서 얻어졌습니다.
