본 논문은 대규모 언어 모델(LLM)의 설명 가능성을 높이기 위해 XAI(eXplainable AI) 기법을 평가하는 포괄적인 프레임워크를 제시합니다. IMDB 영화 리뷰 및 트윗 감정 추출 데이터셋을 사용하여 LIME, SHAP, Integrated Gradients, LRP, AMV 다섯 가지 XAI 기법을 다섯 가지 LLM과 두 가지 downstream task에 적용하여 평가했습니다. Human-reasoning Agreement, Robustness, Consistency, Contrastivity 네 가지 지표를 통해 평가한 결과, LIME이 여러 LLM과 평가 지표에서 높은 점수를 얻었고, AMV는 뛰어난 Robustness와 거의 완벽한 Consistency를 보였으며, LRP는 특히 복잡한 모델에서 Contrastivity가 우수한 것으로 나타났습니다. 본 연구는 다양한 XAI 기법의 강점과 한계에 대한 통찰력을 제공하여 LLM을 위한 적절한 XAI 기법 개발 및 선택에 대한 지침을 제시합니다.
