본 논문은 컨볼루션 신경망 분류의 설명을 위한 대표적인 방법인 saliency map의 평가 방법에 대한 연구를 다룹니다. 주관적 사용자 측정, 객관적 사용자 측정, 수학적 지표 세 가지 평가 방법을 사용하여 LIME, Grad-CAM, Guided Backpropagation 세 가지 saliency map 접근 방식을 166명의 참가자를 대상으로 비교 분석했습니다. 사용자 신뢰도 및 만족도, 모델 이해도 향상, 수학적 지표에 따른 성능 비교, 수학적 지표와 객관적 사용자 측정 간의 상관관계를 분석하였습니다. 그 결과, 세 가지 평가 방법 간의 평가 일치성이 낮음을 발견하였습니다. (신뢰도 및 만족도에는 차이가 없었고, Grad-CAM이 사용자 능력 향상에 가장 효과적이었으며, Guided Backpropagation이 수학적 지표에서 가장 좋은 성적을 거두었습니다.) 또한 일부 수학적 지표는 사용자 이해도와 관련이 있었지만, 그 관계는 종종 반직관적이었습니다. 본 연구는 XAI 평가에서 사용자 연구와 수학적 지표의 상호 보완적 사용에 대한 논의에 시사점을 제공합니다.
