AI 모델의 설명 가능성은 신뢰도를 저해하는 주요 문제이며, 특히 의학과 같은 중요한 영역에서 그 중요성이 더욱 부각됩니다. 본 논문에서는 감사를 통해 확인할 수 있는 일련의 행동을 통해 설명을 생성하는 대화형 에이전트를 제안합니다. 이 에이전트는 진단을 지원하기 위해 외부 시각적 증거를 전략적으로 찾는 정책을 학습합니다. 강화 학습을 사용하여 최적화된 이 정책은 효율성과 일반화 능력을 모두 갖추도록 설계되었습니다. 실험 결과, 이 행동 기반 추론 프로세스는 보정된 정확도를 크게 향상시켜, 비대화형 기준선 대비 Brier 점수를 18% 감소시켰습니다. 에이전트 설명의 충실도를 검증하기 위해 인과적 개입 방법을 도입했습니다. 에이전트가 사용하기로 선택한 시각적 증거를 마스킹함으로써 성능 저하를 관찰하여 ($\Delta$Brier=+0.029) 증거가 의사 결정 과정에 필수적임을 확인했습니다. 본 연구는 검증 가능하고 충실한 추론 능력을 갖춘 AI 시스템 구축을 위한 실용적인 프레임워크를 제공합니다.