Explainability of Large Language Models using SMILE: Statistical Model-agnostic Interpretability with Local Explanations
Created by
Haebom
저자
Zeinab Dehghani, Mohammed Naveed Akram, Koorosh Aslansefat, Adil Khan
개요
본 논문은 대규모 언어 모델(LLM)의 의사결정 과정을 이해하기 어려운 "블랙박스" 문제를 해결하기 위해 새로운 설명 가능성 기법인 SMILE을 제안한다. SMILE은 모델에 독립적이며, 입력을 약간 변경하여 출력 변화를 측정하고, 출력에 가장 큰 영향을 미친 단어를 강조함으로써 LLM의 응답 과정을 설명한다. 단순한 시각적 히트맵을 생성하여 프롬프트의 어떤 부분이 가장 중요한지 보여주며, 정확성, 일관성, 안정성, 충실도 등의 지표를 통해 SMILE의 신뢰성을 검증한다. 이는 AI의 투명성과 신뢰성 향상에 기여할 것으로 기대된다.
시사점, 한계점
•
시사점:
◦
LLM의 의사결정 과정에 대한 설명 가능성을 높임으로써 AI의 투명성을 향상시킨다.
◦
모델-독립적인 방법론으로 다양한 LLM에 적용 가능하다.
◦
시각적인 히트맵을 통해 직관적인 설명을 제공한다.
◦
정량적인 지표를 통해 SMILE의 신뢰성을 객관적으로 평가한다.
•
한계점:
◦
SMILE의 설명의 정확성 및 완전성에 대한 추가적인 검증이 필요하다.
◦
복잡한 프롬프트나 긴 컨텍스트에 대한 설명의 효율성과 정확도를 더 평가해야 한다.
◦
SMILE이 모든 유형의 LLM과 모든 종류의 프롬프트에 대해 동일한 수준의 설명 성능을 제공하는지 추가 연구가 필요하다.
