Rethinking Visual Attribution for Chest X-ray Reasoning in Large Vision Language Models

작성자

Haebom

카테고리

Empty

저자

Guangzhi Xiong, Qiao Jin, Sanchit Sinha, Zhiyong Lu, Aidong Zhang

💡 개요

이 연구는 대규모 시각-언어 모델(LVLM)의 의료 분야 적용에서 신뢰성 문제를 제기하며, 특히 흉부 X선(CXR) 판독에서 모델이 응답의 근거를 시각적 증거에 충실하게 연결하지 못하는 점을 지적합니다. 기존 시각 속성(attribution) 방법들이 모델의 의사 결정에 실제로 기여하는 시각적 증거를 제대로 반영하는지 검증하기 위해, 연구진은 반사실적 편집을 통해 전문가 주석이 달린 영역이 모델 예측에 인과적으로 책임이 있음을 확인한 CXR-VQA 샘플만을 유지하는 인과적 평가 프레임워크를 개발했습니다. 이 프레임워크를 통해 기존 속성 방법들이 LVLM이 사용하는 증거를 식별하는 데 실패함을 발견했으며, 이에 대한 해결책으로 임상적으로 의미 있는 해부학적 영역을 식별하고 모델 출력에 대한 인과적 효과를 측정하는 개념 기반 속성 방법인 MedFocus를 제안합니다.

🔑 시사점 및 한계

•

LVLM의 의료 분야 적용에서 시각적 증거에 대한 충실한 근거 제시 능력은 임상적 신뢰 확보에 필수적입니다.

•

기존의 시각 속성 방법들은 LVLM이 CXR 추론 시 실제로 사용하는 시각적 증거를 제대로 포착하지 못하는 경우가 많으며, 이를 검증할 수 있는 새로운 프레임워크가 필요합니다.

•

제안된 MedFocus 방법은 개념 기반 속성을 통해 기존 방법보다 우수한 성능을 보이며, 의료 LVLM의 신뢰성 향상에 기여할 수 있습니다.

•

본 연구는 LVLM의 내부 추론 과정에 대한 직접적인 '정답'이 부족한 상황에서 인과적 추론과 반사실적 편집을 통해 속성 방법의 유효성을 평가하는 새로운 접근 방식을 제시합니다.

•

현재 MedFocus는 흉부 X선 데이터에 국한되어 있으며, 다른 의료 영상 데이터셋이나 더 복잡한 임상 추론 작업으로의 일반화 가능성에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage