본 논문은 ChatGPT와 같은 대규모 언어 모델(LLM)의 의료 분야 적용 가능성을 평가하기 위해, 허구의 장기인 'Glianorex'를 중심으로 한 가상 의학 벤치마크를 개발했습니다. 영문과 불문으로 교과서와 객관식 문제를 생성하여 다양한 LLM(독점, 오픈소스, 의료 전문 모델)을 제로샷 설정에서 평가했습니다. 그 결과, LLM은 평균 64%의 정답률을 보인 반면, 의사는 27%에 그쳤습니다. 영어에서는 미세 조정된 의료 모델이 기본 모델보다 성능이 우수했지만, 불어에서는 그렇지 않았습니다. 분석 결과, 모델들은 얕은 단서, 시험 전략, 그리고 환각적인 추론에 의존하여 정답을 찾는 경향을 보였습니다. 이는 기존의 객관식 시험 기반 평가가 임상 추론 능력을 효과적으로 측정하지 못할 수 있음을 시사하며, LLM에 대한 더욱 강력하고 임상적으로 의미 있는 평가 방법의 필요성을 강조합니다.
