본 논문은 의료 시스템에서 증가하는 대규모 언어 모델(LLM)의 외래 환자 의뢰 업무 적용에 대한 연구를 다룹니다. 특히 동적인 상호작용 시나리오에서 LLM의 효과를 평가하기 위한 표준화된 평가 기준이 부족하다는 점을 지적하며, 지능형 외래 환자 의뢰(IOR) 시스템 내 작업 관리에서 LLM의 역량과 한계를 체계적으로 조사하고, 이러한 시스템을 위해 특별히 고안된 포괄적인 평가 프레임워크를 제안합니다. 이 프레임워크는 사전 정의된 외래 환자 의뢰 능력을 평가하는 정적 평가와 반복적인 대화를 통해 외래 환자 의뢰 권장 사항을 개선하는 능력을 평가하는 동적 평가의 두 가지 핵심 과제로 구성됩니다. 연구 결과, LLM은 BERT 유사 모델에 비해 제한적인 이점을 제공하지만, 상호 작용 대화 중 효과적인 질문을 하는 데 유망함을 보여줍니다.
시사점, 한계점
•
시사점: 지능형 외래 환자 의뢰 시스템을 위한 LLM 평가를 위한 포괄적인 프레임워크 제시. 상호 작용적 대화에서 LLM의 효과적인 질문 능력 확인.
•
한계점: LLM이 BERT 유사 모델에 비해 제한적인 이점만을 보여준다는 점. 제안된 프레임워크의 실제 의료 환경 적용 및 일반화 가능성에 대한 추가 연구 필요.
