Improving Reliability and Explainability of Medical Question Answering through Atomic Fact Checking in Retrieval-Augmented LLMs
Created by
Haebom
저자
Juraj Vladika, Annika Domres, Mai Nguyen, Rebecca Moser, Jana Nano, Felix Busch, Lisa C. Adams, Keno K. Bressem, Denise Bernhardt, Stephanie E. Combs, Kai J. Borm, Florian Matthes, Jan C. Peeken
개요
본 논문은 의료 분야에서 장문 질문 응답에 사용되는 대규모 언어 모델(LLM)의 신뢰성과 설명 가능성을 향상시키기 위한 새로운 원자적 사실 확인 프레임워크를 제시합니다. 기존 방법들의 한계인 환각 및 낮은 사실 수준의 설명 가능성을 극복하기 위해, LLM이 생성한 응답을 독립적으로 검증 가능한 원자적 사실 단위로 분해하고, 의료 가이드라인으로 구성된 권위 있는 지식 베이스와 비교하여 검증합니다. 이를 통해 오류를 목표 지향적으로 수정하고 출처 문헌을 직접 추적하여 의료 Q&A의 사실 정확성과 설명 가능성을 향상시킵니다. 의료 전문가의 다중 독자 평가 및 자동화된 개방형 Q&A 벤치마크를 사용한 광범위한 평가 결과, 사실 정확성과 설명 가능성이 크게 향상되었음을 보여줍니다. 최대 40%의 전반적인 응답 개선과 50%의 환각 탐지율을 달성했습니다. 각 원자적 사실을 데이터베이스의 가장 관련성 높은 부분으로 추적할 수 있는 기능은 생성된 응답에 대한 세분화되고 투명한 설명을 제공하여 현재 의료 AI 애플리케이션의 주요한 차이점을 해결합니다. 이 연구는 신뢰할 수 있고 안정적인 LLM의 임상 적용을 위한 중요한 단계이며, 임상 적용의 주요 전제 조건을 해결하고 AI 지원 의료에 대한 신뢰도를 높이는 데 기여합니다.
시사점, 한계점
•
시사점:
◦
의료 분야 LLM의 사실 정확성과 설명 가능성을 향상시키는 새로운 원자적 사실 확인 프레임워크 제시.
