Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

When Bias Backfires: The Modulatory Role of Counterfactual Explanations on the Adoption of Algorithmic Bias in XAI-Supported Human Decision-Making

Created by
  • Haebom

저자

Ulrike Kuhl, Annika Bush

개요

본 연구는 AI 추천 시스템의 편향성이 인간의 의사결정에 미치는 영향을 실험적으로 분석한 연구입니다. 채용 과정을 시뮬레이션하여, 성별 편향을 가진 AI 추천 (XAI)이 제공되는 상황에서 참가자(채용 매니저 역할)의 의사결정 변화를 추적했습니다. 실험 결과, 참가자들은 유사한 자격을 가진 지원자에 대해 AI 추천을 70%의 비율로 따랐으며, 소수의 참가자만이 AI의 성별 편향을 인지했습니다. 중요하게도, 편향된 AI에 노출된 후, 반박적 설명이 제공되지 않은 경우 참가자들의 독립적인 의사결정은 AI의 편향성을 따랐으나, 설명이 제공된 경우에는 편향성이 역전되는 현상을 보였습니다. 신뢰도에는 유의미한 차이가 없었지만, 남성 편향 AI 노출 후 확신도에 변화가 나타났습니다.

시사점, 한계점

시사점:
편향된 AI 추천이 인간의 의사결정에 상당한 영향을 미치며, 이는 장기적으로 편향된 결과를 초래할 수 있음을 보여줍니다.
반박적 설명(counterfactual explanations)이 AI 편향의 영향을 완화하는 데 효과적일 수 있음을 시사합니다.
AI 시스템의 투명성과 설명 가능성이 공정한 의사결정을 위해 필수적임을 강조합니다.
AI 편향은 의사결정의 확신도에 영향을 미칠 수 있습니다.
한계점:
실험 환경이 채용 과정으로 한정되어 있어, 다른 의사결정 영역으로 일반화하는 데에는 주의가 필요합니다.
참가자 수가 제한적일 수 있습니다 (294명).
AI 편향의 종류와 강도가 제한적입니다 (성별 편향).
신뢰도 측정의 한계가 있을 수 있습니다.
AI 시스템 자체의 편향 감지 및 수정에 대한 논의가 부족합니다.
👍