본 논문은 간담췌 질환(HPB)의 높은 이환율과 사망률로 인해 전 세계적인 공중 보건 문제를 야기하는 점을 고려하여, HPB 질환 평가 벤치마크인 ClinBench-HBP를 개발한 연구입니다. ClinBench-HBP는 ICD-10 기준 HPB 질환의 33개 주요 범주와 465개 하위 범주를 포괄하는 3,535개의 객관식 문제와 337개의 실제 진단 사례로 구성됩니다. 다양한 상용 및 오픈소스 LLM을 ClinBench-HBP로 평가한 결과, 상용 LLM은 의학 시험 문제에서는 능숙하게 수행하지만, 특히 복잡한 입원 환자 사례에서 HPB 진단 과제에서는 성능이 크게 저하됨을 발견했습니다. 또한, HPB 질환에 대한 일반화 능력도 제한적임을 보였습니다. 이를 통해 현재 LLM이 HPB 질환 영역에서 단순한 의학 시험 문제보다는 실제 복잡한 임상 진단을 처리하는 데 한계가 있음을 보여주며, 향후 의료 LLM 개발에 중요한 시사점을 제공합니다. 벤치마크는 연구 홈페이지에서 공개될 예정입니다.