Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Fewer Than 1% of Explainable AI Papers Validate Explainability with Humans

Created by
  • Haebom
Category
Empty

저자

Ashley Suh, Isabelle Hurley, Nora Smith, Ho Chit Siu

개요

본 논문은 설명 가능한 인공지능(XAI) 문헌에 대한 대규모 분석을 통해 인간의 설명 가능성에 대한 주장을 평가한 연구입니다. 설명 가능성 및 해석 가능성 관련 키워드를 포함한 18,254편의 논문을 분석한 결과, 인간의 참여를 평가하는 용어를 포함한 논문은 253편에 불과했으며, 그중 인간 연구를 수행한 논문은 128편에 그쳤습니다. 이는 XAI 논문의 1% 미만(0.7%)만이 인간의 설명 가능성에 대한 경험적 증거를 제공함을 의미하며, 인간의 설명 가능성에 대한 주장과 증거 기반 검증 간의 심각한 격차를 강조합니다. 따라서 XAI 연구의 엄격성에 대한 우려를 제기하며, XAI 연구에서 인간 평가의 중요성을 강조하고, 연구 방법론을 공개하여 재현성 및 추가 연구를 가능하게 합니다.

시사점, 한계점

시사점: XAI 연구에서 인간의 설명 가능성에 대한 주장과 실제 증거 간의 심각한 차이를 밝혀냄으로써 XAI 연구의 엄격성에 대한 우려를 제기하고, 향후 연구 방향을 제시합니다. 인간 평가의 중요성을 강조하고, 연구 방법론의 공개를 통해 재현성과 추가 연구를 촉진합니다.
한계점: 키워드 기반의 문헌 검색 방식으로 인해 일부 관련 논문이 누락될 가능성이 존재합니다. 또한, 인간 연구의 질적 수준에 대한 평가는 포함되지 않았습니다. 단순히 인간 참여 여부만을 기준으로 삼았기 때문에, 인간 참여 연구의 질적인 측면은 고려되지 않았을 수 있습니다.
👍