Divergent Realities: A Comparative Analysis of Human Expert vs. Artificial Intelligence Based Generation and Evaluation of Treatment Plans in Dermatology
Created by
Haebom
저자
Dipayan Sengupta, Saumya Panda
개요
본 연구는 인공지능(AI)이 진단을 넘어 치료 계획 수립에 활용됨에 따라, AI 생성 치료 계획 평가의 어려움을 다룹니다. 피부과 전문의 10명, 일반적인 AI 모델(GPT-4o), 추론 AI 모델(o3)이 5가지 복잡한 피부과 사례에 대한 치료 계획을 수립하였고, 다른 10명의 피부과 전문의와 상위 AI 모델(Gemini 2.5 Pro)이 동일한 평가 기준으로 계획을 평가했습니다. 평가 결과, 인간 전문가는 동료의 계획을 AI 계획보다 높게 평가했으나, 상위 AI는 AI 계획을 인간 전문가의 계획보다 훨씬 높게 평가하는 "평가자 효과"가 나타났습니다. 이는 경험 기반 임상 지식과 데이터 기반 알고리즘 논리 간의 큰 차이를 보여줍니다.
시사점, 한계점
•
시사점:
◦
인간 전문가와 AI의 치료 계획 평가에 대한 상당한 차이(평가자 효과)를 밝힘.
◦
AI 기반 치료 계획의 객관적인 평가 기준 및 방법론 개발의 필요성 제시.
◦
인간-AI 협력 시스템을 통한 상호 보완적이고 설명 가능한 의료 시스템 구축의 중요성 강조.
◦
AI 모델의 추론 능력 향상과 인간 전문가의 이해도 제고를 위한 노력 필요.
•
한계점:
◦
제한된 사례 수(5가지)로 일반화에 대한 제약 존재.
◦
평가 기준의 객관성 및 신뢰성에 대한 추가적인 검증 필요.
◦
특정 AI 모델(GPT-4o, o3, Gemini 2.5 Pro)에 대한 결과이므로 다른 모델에 대한 일반화 어려움.
