Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ClinBench-HPB: A Clinical Benchmark for Evaluating LLMs in Hepato-Pancreato-Biliary Diseases

Created by
  • Haebom

저자

Yuchong Li, Xiaojun Zeng, Chihua Fang, Jian Yang, Lei Zhang

개요

본 논문은 간담췌 질환(HPB)의 높은 이환율과 사망률로 인해 전 세계적인 공중 보건 문제를 야기하는 점을 고려하여, HPB 질환 평가 벤치마크인 ClinBench-HBP를 개발한 연구입니다. ClinBench-HBP는 ICD-10 기준 HPB 질환의 33개 주요 범주와 465개 하위 범주를 포괄하는 3,535개의 객관식 문제와 337개의 실제 진단 사례로 구성됩니다. 다양한 상용 및 오픈소스 LLM을 ClinBench-HBP로 평가한 결과, 상용 LLM은 의학 시험 문제에서는 능숙하게 수행하지만, 특히 복잡한 입원 환자 사례에서 HPB 진단 과제에서는 성능이 크게 저하됨을 발견했습니다. 또한, HPB 질환에 대한 일반화 능력도 제한적임을 보였습니다. 이를 통해 현재 LLM이 HPB 질환 영역에서 단순한 의학 시험 문제보다는 실제 복잡한 임상 진단을 처리하는 데 한계가 있음을 보여주며, 향후 의료 LLM 개발에 중요한 시사점을 제공합니다. 벤치마크는 연구 홈페이지에서 공개될 예정입니다.

시사점, 한계점

시사점:
간담췌 질환(HPB)에 특화된 새로운 평가 벤치마크 ClinBench-HBP를 제공합니다.
현재 LLM의 HPB 진단 능력의 한계를 명확히 제시합니다.
실제 임상 진단에 적용 가능한 LLM 개발의 필요성을 강조합니다.
향후 HPB 질환 진단 및 치료에 LLM 활용 가능성에 대한 연구 방향을 제시합니다.
한계점:
ClinBench-HBP의 데이터 출처 및 구성에 대한 자세한 설명이 부족할 수 있습니다.
평가에 사용된 LLM의 종류 및 버전에 대한 명확한 정보가 부족할 수 있습니다.
벤치마크의 일반화 가능성 및 확장성에 대한 추가 연구가 필요합니다.
실제 임상 환경에서의 LLM 활용에 대한 추가적인 연구가 필요합니다.
👍