Sign In

VirtualXAI: A User-Centric Framework for Explainability Assessment Leveraging GPT-Generated Personas

Created by
  • Haebom
Category
Empty

저자

Georgios Makridis, Vasileios Koukos, Georgios Fatouros, Dimosthenis Kyriazis

개요

본 논문은 인공지능(AI) 모델의 설명가능성(XAI) 평가의 어려움을 해결하기 위한 새로운 프레임워크를 제안합니다. 기존의 XAI 평가는 정량적 특성(충실도, 일관성, 안정성 등)에만 초점을 맞추는 한계가 있었는데, 본 논문에서는 정량적 벤치마킹과 사용자의 질적 평가를 통합하는 프레임워크를 제시합니다. 대규모 언어 모델(LLM)의 배경 스토리인 "Anthology"를 기반으로 가상의 사용자 페르소나를 활용하여 질적 평가를 수행하고, 데이터셋 특성을 활용한 콘텐츠 기반 추천 시스템을 통해 최적의 AI 모델과 XAI 방법을 추천합니다. 이는 주어진 시나리오에 대한 XAI 점수를 예측하고 맞춤형 권장 사항을 제공합니다.

시사점, 한계점

시사점:
정량적 평가와 질적 평가를 통합한 XAI 평가 프레임워크 제시
LLM 기반 가상 페르소나 활용을 통한 실용적인 평가 방법 제안
콘텐츠 기반 추천 시스템을 통한 AI 모델 및 XAI 방법 선택 지원
데이터셋, AI 모델, XAI 방법 선택에 대한 실무자의 어려움 해소에 기여
한계점:
제안된 프레임워크의 실제 적용 및 효과에 대한 추가적인 검증 필요
LLM 기반 가상 페르소나의 일반화 가능성 및 한계에 대한 고찰 필요
콘텐츠 기반 추천 시스템의 정확성 및 신뢰성에 대한 추가적인 연구 필요
다양한 종류의 AI 모델과 XAI 방법에 대한 포괄적인 평가가 필요할 수 있음
👍