본 논문은 오픈소스 대규모 언어 모델(LLM)을 활용하여 진료 기록 요약, 특히 퇴원 보고서에서 주요 사건(입원 사유, 병원 내 주요 사건, 중요 후속 조치)을 추출하는 효과성을 조사합니다. LLM의 정확성과 충실성을 엄격하게 평가하기 위해 포괄적인 시뮬레이션을 수행하고, 요약 과정에서 발생하는 환각(hallucination)의 유병률을 분석합니다. Qwen2.5와 DeepSeek-v2 등의 LLM이 입원 사유와 입원 중 발생한 사건을 잘 포착하지만, 후속 조치 권고 사항을 식별하는 데는 일관성이 떨어지는 것으로 나타났습니다.
시사점, 한계점
•
시사점: 오픈소스 LLM이 진료 기록 요약에서 입원 사유 및 병원 내 주요 사건 추출에 효과적임을 보여줌. LLM 기반 자동 요약 시스템 개발 가능성 제시.
•
한계점: 후속 조치 권고 사항 식별에 있어 LLM의 일관성 부족. LLM 요약의 신뢰성을 저해하는 환각 현상의 존재. 포괄적인 진료 기록 요약을 위한 LLM 활용의 어려움 제기.
