본 논문은 의료 문맥에서 대규모 언어 모델(LLM)의 정확도와 신뢰도 유도에 미치는 프롬프트 엔지니어링 기법의 영향을 조사합니다. 다양한 전문 분야의 페르시아 의사 시험 문제로 구성된 계층화된 데이터 세트를 사용하여 GPT-4o, o3-mini, Llama-3.3-70b, Llama-3.1-8b 및 DeepSeek-v3의 다섯 가지 LLM을 156가지 구성(온도 설정, 프롬프트 스타일, 신뢰도 척도)에서 평가했습니다. AUC-ROC, Brier Score 및 Expected Calibration Error (ECE)를 사용하여 신뢰도와 실제 성능 간의 일치도를 평가했습니다. Chain-of-Thought 프롬프트는 정확도를 향상시켰지만 과신을 유발하여 보정의 필요성을 강조했습니다. 감정적 프롬프트는 신뢰도를 더욱 높였지만 잘못된 결정의 위험을 초래했습니다. Llama-3.1-8b와 같은 소규모 모델은 모든 지표에서 성능이 저조했으며, 독점 모델은 정확도가 더 높았지만 여전히 보정된 신뢰도가 부족했습니다. 이러한 결과는 프롬프트 엔지니어링이 고위험 의료 과제에서 효과적이 되려면 정확도와 불확실성 모두를 해결해야 함을 시사합니다.
