본 논문은 설명 가능한 AI (XAI) 연구에서 대규모 언어 모델(LLM)을 사용하여 특징-귀속 가중치와 같은 설명 가능성 기법의 출력을 자연어 설명으로 변환하는 추세를 조명합니다. 이러한 접근 방식은 사용자의 접근성이나 가독성을 향상시킬 수 있지만, 최근 연구에 따르면 인간과 유사한 설명으로 변환하는 것이 사용자의 이해도를 높이는 데 도움이 되지 않고 오히려 AI 시스템에 대한 과도한 의존으로 이어질 수 있음을 시사합니다. LLM이 모델의 한계, 불확실성 또는 불일치를 드러내지 않고 XAI 출력을 요약하면 의미 있는 투명성을 촉진하는 대신 해석 가능성의 환상을 강화할 위험이 있습니다. 따라서 본 논문은 LLM이 XAI 출력을 단순히 번역하는 대신 대안적인 해석, 잠재적인 편향, 훈련 데이터의 한계, 그리고 모델의 추론이 붕괴될 수 있는 사례를 제시함으로써 AI 설명을 적극적으로 질문하는 건설적인 선동가 또는 악마의 옹호자 역할을 해야 한다고 주장합니다. 이러한 역할을 통해 LLM은 사용자가 AI 시스템 및 생성된 설명을 비판적으로 이해하는 것을 촉진하고 잘못 해석되거나 허위 설명으로 인한 과도한 의존을 줄일 수 있습니다.
