Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Semantic Consistency-Based Uncertainty Quantification for Factuality in Radiology Report Generation

Created by
  • Haebom
Category
Empty

저자

Chenyu Wang, Weichao Zhou, Shantanu Ghosh, Kayhan Batmanghelich, Wenchao Li

개요

본 논문은 방사선과 보고서 생성(RRG)에서 환각 및 부정확한 진단 정보 생성 문제를 해결하기 위해 새로운 의미 일관성 기반 불확실성 정량화(SCUQ) 프레임워크를 제시합니다. 기존의 VLLM 모델 수정이나 내부 상태 접근 없이, 플러그 앤 플레이 방식으로 작동하며 보고서 및 문장 단위의 불확실성을 제공합니다. MIMIC-CXR 데이터셋에서 Radialog 모델을 사용한 실험 결과, 20%의 보고서를 거부함으로써 사실 정확도 점수를 10% 향상시켰으며, 문장 단위 불확실성은 가장 정확도가 낮은 문장을 82.9%의 성공률로 식별했습니다. 소스 코드는 공개되어 있습니다.

시사점, 한계점

시사점:
방사선과 보고서 생성의 사실 정확도 향상에 기여하는 새로운 불확실성 정량화 프레임워크 제시
모델 수정 없이 플러그 앤 플레이 방식으로 적용 가능
보고서 및 문장 단위의 불확실성 제공으로 정확도 향상 및 오류 검출 가능
오픈소스 공개를 통한 접근성 향상
한계점:
특정 데이터셋(MIMIC-CXR)과 모델(Radialog)에 대한 실험 결과만 제시되어 일반화 가능성에 대한 추가 연구 필요
불확실성 정량화 기준 및 임계값 설정에 대한 추가적인 설명 필요
다른 방사선 영상 유형이나 모델에 대한 성능 평가가 부족
👍