Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Unified Framework with Novel Metrics for Evaluating the Effectiveness of XAI Techniques in LLMs

Created by
  • Haebom

저자

Melkamu Abay Mersha, Mesay Gemeda Yigezu, Hassan Shakil, Ali K. AlShami, Sanghyun Byun, Jugal Kalita

개요

본 연구는 대규모 언어 모델(LLM)의 설명 가능성을 높이기 위해 XAI(eXplainable AI) 기법의 효과를 평가하는 포괄적인 프레임워크를 제시합니다. LIME, SHAP, Integrated Gradients, LRP, AMV 다섯 가지 XAI 기법을 IMDB 영화 리뷰 및 트윗 감정 추출 데이터셋에 적용하여, Human-reasoning Agreement, Robustness, Consistency, Contrastivity 네 가지 지표를 통해 다섯 가지 LLM에서 평가합니다. 결과적으로 LIME은 여러 LLM과 평가 지표에서 높은 점수를 달성했고, AMV는 뛰어난 Robustness와 거의 완벽한 Consistency를 보였으며, LRP는 특히 복잡한 모델에서 Contrastivity가 뛰어났음을 보여줍니다. 이 연구는 다양한 XAI 기법의 강점과 한계에 대한 통찰력을 제공하여 LLM에 적합한 XAI 기법을 개발하고 선택하는 데 도움을 줍니다.

시사점, 한계점

시사점:
LLM의 설명 가능성 향상을 위한 포괄적인 평가 프레임워크 제시
다양한 XAI 기법의 성능 비교 및 각 기법의 강점과 약점 제시 (LIME의 높은 전반적 성능, AMV의 높은 Robustness와 Consistency, LRP의 높은 Contrastivity)
LLM에 적합한 XAI 기법 선택 및 개발에 대한 지침 제공
한계점:
평가에 사용된 LLM, 데이터셋, XAI 기법의 종류가 제한적일 수 있음.
제안된 네 가지 평가 지표 외 다른 중요한 지표가 고려되지 않았을 가능성.
실제 응용 환경에서의 일반화 가능성에 대한 추가 연구 필요.
👍