본 연구는 두 가지 대규모 언어 모델(LLM) 기반 진단 도구, DeepSeek R1과 O3 Mini의 성능을 구조화된 증상 및 진단 데이터 세트를 사용하여 평가했습니다. 질병 및 범주 수준에서 예측 정확도와 신뢰도 점수의 신뢰성을 평가한 결과, DeepSeek R1은 질병 수준 정확도 76%, 전체 정확도 82%를 달성하여 O3 Mini(각각 72%, 75%)보다 우수한 성능을 보였습니다. DeepSeek R1은 정신 건강, 신경 질환 및 종양학 분야에서 100%의 정확도를 달성한 반면, O3 Mini는 자가 면역 질환 분류에서 100%의 정확도를 보였습니다. 그러나 두 모델 모두 호흡기 질환 분류에서 어려움을 겪었으며, DeepSeek R1은 40%, O3 Mini는 20%의 정확도를 기록했습니다. 또한, 신뢰도 점수 분석 결과 DeepSeek R1은 92%의 경우 고신뢰도 예측을 제공한 반면, O3 Mini는 68%였습니다. LLM의 책임 있는 임상 적용을 위해 편향, 모델 해석 가능성 및 데이터 개인 정보 보호에 대한 윤리적 고려 사항도 논의되었습니다. 결론적으로, 이 연구 결과는 LLM 기반 진단 시스템의 강점과 한계에 대한 귀중한 통찰력을 제공하고 AI 기반 의료의 향상을 위한 로드맵을 제시합니다.
