Disentangling Reasoning and Knowledge in Medical Large Language Models
Created by
Haebom
저자
Rahul Thapa, Qingyang Wu, Kevin Wu, Harrison Zhang, Angela Zhang, Eric Wu, Haotian Ye, Suhana Bedi, Nevin Aresh, Joseph Boen, Shriya Reddy, Ben Athiwaratkun, Shuaiwen Leon Song, James Zou
개요
본 논문은 대규모 언어 모델(LLM)의 의학적 추론 능력을 평가하기 위해 기존 의학 질의응답 벤치마크를 추론 중심 및 지식 중심 하위 집합으로 분류하는 새로운 방법론을 제시합니다. PubMedBERT 분류기를 사용하여 11개의 생의학 QA 벤치마크를 분석한 결과, 질문의 32.8%만이 복잡한 추론을 필요로 한다는 것을 발견했습니다. 여러 생의학 및 일반 영역 모델들을 평가하여 지식 기반 문제와 추론 기반 문제에 대한 성능 차이를 확인하였고, 특히 생의학 모델들은 잘못된 초기 추론에 취약함을 보였습니다. 이러한 한계를 극복하기 위해, 추론 중심 데이터로 미세 조정 및 강화 학습을 통해 BioMed-R1 모델을 훈련하였으며, 유사한 크기의 모델들 중 가장 우수한 성능을 달성했습니다. 추가적인 성능 향상을 위해 임상 증례 보고서를 통합하고, 적대적 및 백트래킹 시나리오를 사용한 훈련이 제시되었습니다.
시사점, 한계점
•
시사점:
◦
의학적 추론 능력 평가를 위한 새로운 벤치마킹 방법 제시 (추론 중심 및 지식 중심 하위 집합 분류)
◦
생의학 LLM의 지식과 추론 능력 간의 성능 차이를 명확히 제시
◦
잘못된 초기 추론에 대한 취약성을 밝히고, 이를 개선하기 위한 BioMed-R1 모델 제시
◦
향후 연구 방향으로 임상 증례 보고서 활용 및 적대적/백트래킹 시나리오 기반 훈련 제시
•
한계점:
◦
PubMedBERT 분류기의 정확도(81%)가 완벽하지 않아 분류 오류 가능성 존재
◦
현재 평가에 사용된 모델의 종류 및 규모가 제한적일 수 있음
◦
BioMed-R1 모델의 성능 향상에도 불구하고, 여전히 완벽한 의학적 추론 능력에는 미치지 못할 가능성 존재
