Sign In

Human Cognitive Biases in Explanation-Based Interaction: The Case of Within and Between Session Order Effect

Created by
  • Haebom
Category
Empty

저자

Dario Pesenti, Alessandro Bogani, Katya Tentori, Stefano Teso

개요

Explanatory Interactive Learning (XIL)은 사용자가 모델의 설명을 통해 AI 모델을 사용자 정의하고 수정할 수 있도록 설계된 강력한 대화형 학습 프레임워크입니다. XIL 알고리즘은 AI 모델이 결정을 내린 항목(예: 이미지 및 태그)을 선택하고, 해당 설명(예: 모델의 결정을 유발하는 이미지 영역)과 함께 사용자에게 제시합니다. 사용자는 설명에 대한 수정 피드백을 제공하고, 알고리즘은 이를 사용하여 모델을 개선합니다. 본 연구에서는 설명적 상호작용이 사용자 신뢰 및 피드백 품질에 영향을 미칠 수 있는 순서 효과(order effects)의 영향을 조사하기 위해 두 개의 대규모 사용자 연구를 수행했습니다. 그 결과, 순서 효과가 XIL 접근 방식의 성공적인 사용에 큰 문제를 제기하지 않는다는 것을 확인했습니다.

시사점, 한계점

시사점:
XIL 사용 시 순서 효과가 사용자의 모델 동의(신뢰의 행동 지표)에 제한적인 영향을 미침.
사용자 피드백의 질은 전반적으로 만족스러웠으며, 순서 효과가 작은 영향만 미침.
XIL 접근 방식의 성공적인 사용에 순서 효과가 심각한 문제를 제기하지 않음.
한계점:
연구 설계와 작업이 일반적인 XIL 사용 사례와 다를 수 있으며, 이는 해석을 복잡하게 할 수 있음.
순서 효과가 디버깅 세션 내에서만 유의미한 영향을 미침.
실험 결과가 모든 XIL 시나리오에 일반화될 수 있는지는 추가 연구가 필요함.
👍