본 논문은 의료 영상 문제에서 우수한 성능을 보이는 Vision Transformer (ViT)의 설명 가능성 문제를 다룹니다. 자기 지도 학습으로 사전 훈련된 모델에서 의사결정 과정의 일부인 어텐션 맵이 예측에 영향을 미치는 영역을 식별하여 설명 가능성 문제를 해결할 수 있다는 최근 연구 결과를 바탕으로, 대장 용종, 유방 종양, 식도 염증, 골절 및 임플란트 식별 등 네 가지 의료 영상 데이터셋을 사용하여 어텐션 맵을 다른 일반적인 설명 가능성 방법과 비교 분석했습니다. 다양한 지도 및 자기 지도 사전 훈련된 ViT를 사용한 대규모 실험을 통해, 어텐션 맵이 특정 조건 하에서 유망하고 GradCAM보다 일반적으로 우수하지만, Transformer 특화 해석 방법에는 미치지 못한다는 것을 발견했습니다. 결과적으로 어텐션 맵의 효과는 상황에 따라 달라지며, 강력한 의료 의사 결정에 필요한 포괄적인 통찰력을 일관되게 제공하지 못할 수 있다는 결론을 내렸습니다.
