Explainability of Large Language Models using SMILE: Statistical Model-agnostic Interpretability with Local Explanations
Created by
Haebom
저자
Zeinab Dehghani, Mohammed Naveed Akram, Koorosh Aslansefat, Adil Khan
개요
본 논문은 대규모 언어 모델(LLM)의 의사결정 과정을 설명하는 새로운 방법인 SMILE을 제시합니다. SMILE은 모델에 상관없이 입력을 약간 변경하여 출력 변화를 측정하고, 영향력이 큰 단어를 강조하여 시각적 히트맵으로 표현합니다. 여러 주요 LLM에 대한 실험을 통해 정확성, 일관성, 안정성, 충실도 측면에서 SMILE의 신뢰성과 효과를 검증하였으며, 이를 통해 LLM의 투명성과 신뢰성을 향상시키는 데 기여합니다.
시사점, 한계점
•
시사점:
◦
LLM의 의사결정 과정에 대한 이해도를 높임으로써, AI의 투명성과 신뢰성 향상에 기여할 수 있습니다.
◦
모델-애그노스틱 접근 방식을 통해 다양한 LLM에 적용 가능성을 확장합니다.
◦
시각적 히트맵을 통해 직관적으로 결과를 이해할 수 있도록 합니다.
◦
정확성, 일관성, 안정성, 충실도 측면에서 SMILE의 성능을 검증하였습니다.
•
한계점:
◦
논문에서 구체적인 한계점에 대한 언급이 부족합니다. SMILE의 성능 한계 또는 적용 가능한 LLM의 범위 제한 등에 대한 추가적인 분석이 필요할 수 있습니다.
◦
단순히 단어 수준의 중요도를 시각화하는 것으로, LLM의 내부 메커니즘에 대한 완벽한 설명을 제공하지 못할 수 있습니다.
