Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

The Impact of Concept Explanations and Interventions on Human-Machine Collaboration

Created by
  • Haebom
Category
Empty

저자

Jack Furby, Dan Cunnington, Dave Braines, Alun Preece

개요

딥 뉴럴 네트워크(DNN)의 해석 가능성을 높이기 위해, 인간이 정의한 개념을 중간 단계로 예측하는 개념 모델(CM), 특히 개념 병목 모델(CBM)을 활용한 연구를 소개한다. CBM은 DNN의 해석 가능성을 향상시키며, 이는 인간-기계 협업 환경에서 인간의 이해를 돕고 신뢰를 구축하는 데 기여한다. 본 논문에서는 CBM을 활용하여 협업 작업 환경에서 인간의 상호 작용을 평가하기 위한 최초의 인간 연구를 수행했다. 그 결과, CBM이 표준 DNN에 비해 해석 가능성을 향상시켜 인간-기계 정렬을 증가시켰지만, 작업 정확도 향상으로 이어지지는 않았다.

시사점, 한계점

CBM은 표준 DNN에 비해 해석 가능성을 향상시킨다.
해석 가능성 향상은 인간-기계 정렬을 증가시킨다.
인간-기계 정렬의 증가는 작업 정확도 향상으로 이어지지 않았다.
모델의 의사 결정 과정을 이해하기 위해 여러 상호 작용이 필요했다.
모델과 인간의 의사 결정 과정 간의 불일치는 해석 가능성을 저해하고 모델 효과를 감소시킬 수 있다.
👍