본 연구는 의학생의 의사소통 능력 평가에 널리 사용되는 객관적 구조화 임상 시험(OSCE)의 채점 과정 자동화를 위해 대규모 언어 모델(LLM)을 활용하는 가능성을 탐색하였다. Master Interview Rating Scale (MIRS) 28개 항목 전반에 걸쳐 GPT-4o, Claude 3.5, Llama 3.1, Gemini 1.5 Pro 등 4개의 최첨단 LLM을 zero-shot, chain-of-thought (CoT), few-shot, multi-step 프롬프트 조건 하에서 평가하고, 10개의 OSCE 사례와 174개의 전문가 합의 점수 데이터셋을 기반으로 정확도(정확 일치, ±1 오차, 임계값 기준)를 측정하였다. 그 결과, 정확 일치 정확도는 낮았으나 (±1 오차 및 임계값 기준) 정확도는 중간에서 높게 나타났으며, 프롬프트 기법을 특정 평가 항목에 맞춰 조정했을 때 성능이 향상됨을 확인하였다. AI 기반 OSCE 평가의 실현 가능성을 보여주고, 다양한 LLM과 프롬프트 기법에 대한 벤치마킹 결과를 제시하여 향후 임상 의사소통 기술의 자동화된 평가 연구의 기반을 마련하였다.
