Sign In

Learning to Seek Evidence: A Verifiable Reasoning Agent with Causal Faithfulness Analysis

Created by
  • Haebom
Category
Empty

저자

Yuhang Huang, Zekai Lin, Fan Zhong, Lei Liu

개요

AI 모델의 설명 가능성은 신뢰도를 저해하는 주요 문제이며, 특히 의학과 같은 중요한 영역에서 그 중요성이 더욱 부각됩니다. 본 논문에서는 감사를 통해 확인할 수 있는 일련의 행동을 통해 설명을 생성하는 대화형 에이전트를 제안합니다. 이 에이전트는 진단을 지원하기 위해 외부 시각적 증거를 전략적으로 찾는 정책을 학습합니다. 강화 학습을 사용하여 최적화된 이 정책은 효율성과 일반화 능력을 모두 갖추도록 설계되었습니다. 실험 결과, 이 행동 기반 추론 프로세스는 보정된 정확도를 크게 향상시켜, 비대화형 기준선 대비 Brier 점수를 18% 감소시켰습니다. 에이전트 설명의 충실도를 검증하기 위해 인과적 개입 방법을 도입했습니다. 에이전트가 사용하기로 선택한 시각적 증거를 마스킹함으로써 성능 저하를 관찰하여 ($\Delta$Brier=+0.029) 증거가 의사 결정 과정에 필수적임을 확인했습니다. 본 연구는 검증 가능하고 충실한 추론 능력을 갖춘 AI 시스템 구축을 위한 실용적인 프레임워크를 제공합니다.

시사점, 한계점

시사점:
AI 모델의 신뢰성 향상을 위한 검증 가능한 설명 생성 프레임워크 제시
대화형 에이전트를 통해 시각적 증거를 기반으로 하는 효율적이고 일반화 가능한 진단 추론 가능성 입증
인과적 개입 방법을 통해 설명의 충실도 검증
Brier score 감소를 통해 모델 성능 향상 확인
한계점:
특정 분야(의학)에 초점을 맞춘 제한적 적용 범위
시각적 증거의 품질 및 다양성에 따른 성능 변화 가능성
인과적 개입 방법의 복잡성 및 추가적인 계산 비용 발생 가능성
👍