Disentangling Reasoning and Knowledge in Medical Large Language Models
Created by
Haebom
저자
Rahul Thapa, Qingyang Wu, Kevin Wu, Harrison Zhang, Angela Zhang, Eric Wu, Haotian Ye, Suhana Bedi, Nevin Aresh, Joseph Boen, Shriya Reddy, Ben Athiwaratkun, Shuaiwen Leon Song, James Zou
개요
본 논문은 대규모 언어 모델(LLM)의 의학적 추론 능력을 평가하기 위해, 기존 의학 질의응답 벤치마크(MedQA-USMLE, MedMCQA, PubMedQA 등)를 PubMedBERT 분류기를 이용하여 추론 중심 및 지식 중심 하위 집합으로 분류하는 방법을 제시합니다. 분류 결과, 질문의 32.8%만이 복잡한 추론을 요구하는 것으로 나타났습니다. 여러 의학 및 일반 도메인 모델들을 평가한 결과, 지식 기반 문제와 추론 기반 문제에 대한 성능 간에 일관된 차이가 존재함을 확인하였습니다. 특히, 잘못된 초기 추론으로 모델을 유도하는 적대적 테스트에서 의학 전문 모델의 성능 저하가 심각하게 나타났습니다. 이러한 문제를 해결하기 위해, 추론 중심 질문에 대한 미세 조정 및 강화 학습을 통해 BioMed-R1 모델을 훈련하였으며, 이는 유사한 크기의 모델 중 가장 우수한 성능을 달성하였습니다. 향후 연구 방향으로는 임상 증례 보고서 통합 및 적대적/되짚어가는 시나리오를 통한 훈련을 제시합니다.
시사점, 한계점
•
시사점:
◦
PubMedBERT를 이용한 질문 유형 분류는 의학적 추론 능력 평가의 정확성을 높입니다.
◦
의학 LLM의 지식과 추론 능력 간의 격차를 명확히 보여줍니다.
◦
적대적 테스트를 통해 모델의 취약점을 드러내고, 강화 학습 기반의 개선 방향을 제시합니다.
◦
BioMed-R1 모델은 유사 규모 모델 중 가장 우수한 추론 성능을 보입니다.
•
한계점:
◦
PubMedBERT 분류기의 정확도가 81%로 완벽하지 않으며, 분류 오류가 결과에 영향을 줄 수 있습니다.
◦
현재 평가에 사용된 데이터셋의 한계로 인해, 실제 임상 환경에서의 성능을 완벽히 반영하지 못할 수 있습니다.
◦
임상 증례 보고서 통합 및 적대적/되짚어가는 시나리오를 통한 훈련은 향후 연구 과제로 남아 있습니다.
