본 논문은 간담췌 질환(HPB)의 높은 이환율과 사망률로 인해 전 세계적인 공중 보건 문제를 제기하는 점을 고려하여, HPB 질환 평가 벤치마크인 ClinBench-HBP를 개발했습니다. ClinBench-HBP는 ICD-10에 정의된 33개 주요 범주와 465개 하위 범주를 포함하는 3,535개의 객관식 문제와 337개의 개방형 실제 진단 사례로 구성됩니다. 객관식 문제는 공개 데이터셋과 합성 데이터에서, 임상 사례는 저명한 의학 저널, 사례 공유 플랫폼 및 협력 병원에서 수집되었습니다. 다양한 상용 및 오픈소스 LLM을 ClinBench-HBP로 평가한 결과, 상용 LLM은 의학 시험 문제에서는 능숙하게 수행하지만, 특히 복잡한 입원 환자 임상 사례에서 HPB 진단 과제에서는 성능이 크게 저하되는 것을 확인했습니다. 또한, 의료 LLM은 HPB 질환에 대한 일반화 능력이 제한적임을 보였습니다. 이는 현재 LLM이 단순한 의학 시험 문제가 아닌 실제 복잡한 임상 진단을 처리하는 데 심각한 한계를 가지고 있음을 보여줍니다. ClinBench-HBP 벤치마크는 https://clinbench-hpb.github.io 에서 공개될 예정입니다.