Evaluating Human-AI Collaboration: A Review and Methodological Framework
Created by
- Haebom
Category
Empty
저자
George Fragiadakis, Christos Diou, George Kousiouris, Mara Nikolaidou
개요
본 논문은 인간-AI 협업(HAIC) 시스템의 효과적인 평가 방법론을 제시한다. 기존 HAIC 평가 접근 방식에 대한 상세 분석을 바탕으로, AI 중심, 인간 중심, 공생적 협업 등 HAIC의 다양한 모드에 따라 적합한 지표를 선택할 수 있는 구조적 의사결정 트리를 포함하는 새로운 평가 프레임워크를 개발하였다. 정량적 및 정성적 지표를 모두 포함하여 HAIC의 역동적이고 상호작용적인 특성을 반영하고, 다양한 분야(제조, 의료, 금융, 교육 등)에서의 실제 적용을 통해 프레임워크의 실용성을 검증하고자 한다. 궁극적으로 이 연구는 실제 응용 환경에서 HAIC의 체계적인 평가에 대한 추가 연구를 촉진하는 것을 목표로 한다.
시사점, 한계점
•
시사점:
◦
HAIC 시스템 평가를 위한 새로운 프레임워크 제시 및 다양한 HAIC 모드(AI 중심, 인간 중심, 공생적)에 맞는 지표 선택 지원.
◦
정량적 및 정성적 지표를 통합하여 HAIC의 복잡한 상호작용을 포괄적으로 평가 가능.
◦
다양한 분야(제조, 의료, 금융, 교육 등)에 적용 가능한 실용적인 프레임워크 제공.
◦
실제 HAIC 시스템의 효과적인 평가 및 개선을 위한 기반 마련.
•
한계점:
◦
제시된 프레임워크의 실제 적용 및 검증 결과에 대한 상세한 내용 부족.
◦
다양한 분야의 특수한 요구사항을 모두 충족하는 프레임워크의 일반화 가능성에 대한 추가적인 연구 필요.
◦
프레임워크의 적용 과정에서 발생할 수 있는 주관성 및 편향성에 대한 고려 필요.
