본 논문은 의료 분야에서 사용되는 대규모 언어 모델(LLM) 평가 벤치마크의 신뢰성 문제를 해결하기 위해, 의료 전문적인 기준을 적용한 새로운 평가 프레임워크인 MedCheck를 제시합니다. MedCheck는 벤치마크 개발 과정을 5단계로 나누고 46개의 기준을 제시하여 벤치마크의 설계부터 거버넌스까지 전 과정을 평가합니다. 연구진은 MedCheck를 이용하여 53개의 의료 LLM 벤치마크를 평가한 결과, 임상 현장과의 괴리, 데이터 무결성 문제, 안전성 평가 부족 등 심각한 문제점들을 발견했습니다. MedCheck는 기존 벤치마크의 문제점을 진단하고, 더 표준화되고 신뢰할 수 있으며 투명한 의료 AI 평가 방식을 위한 실행 가능한 지침을 제공합니다.
