본 연구는 기계 학습(ML) 모델 평가에 있어 다양한 이해관계자의 의견을 반영하는 실용적인 방법을 제시하고자, 크라우드소싱을 통해 837명의 참가자를 대상으로 가상의 구직 매칭 시스템에서 두 개의 ML 모델 중 더 나은 모델을 선택하게 하는 실험을 수행했습니다. 참가자들은 7가지 지표에 대한 유틸리티 값을 계산하였고, 이를 바탕으로 참가자들을 5개의 클러스터로 분류하여 각 클러스터의 지표 선호도 및 공통 속성을 분석했습니다. 결과적으로 다양한 이해관계자를 고려한 ML 모델 평가 및 적절한 지표 선택 시 고려해야 할 사항들을 논의했습니다.
