본 논문은 딥러닝 모델이 대규모 인프라 구성 요소의 건강 상태를 인식하기 위해 이미지를 처리하는 과정에서 발생할 수 있는 편향과 비인과적 지름길에 의존하는 문제를 해결하기 위해, XAI(eXplainable Artificial Intelligence)와 준지도 학습을 결합한 새로운 프레임워크를 제안합니다. 이 프레임워크는 XAI 기술이 생성한 설명 중 정상적으로 분류된 이미지의 설명과 일치하지 않는 비정상적인 설명을 자동으로 식별하여 모델의 비정상적인 동작을 나타낼 수 있도록 합니다. 드론으로 촬영한 송전망 인프라 모니터링용 절연체 껍질 이미지에 두 가지 CNN(Convolutional Neural Networks)과 GradCAM 설명, 심층 준지도 이상 탐지 기법을 적용하여 평균 분류 정확도를 8% 향상시켰으며, 유지보수 담당자는 이미지의 15%만 수동으로 재분류하면 됩니다. 제안된 프레임워크는 신뢰성 지표 기반의 최첨단 방법과 비교되었으며, F1 점수가 더 높은 결과를 얻었습니다. 또한, 절연체 껍질에 인쇄된 ID 태그와 같은 비인과적 지름길로 인한 정확한 분류를 성공적으로 식별했습니다.