본 논문은 대규모 언어 모델(LLM)이 자체적으로 생성한 반실증적 설명(SCEs)을 통해 의사결정 과정을 설명하는 능력을 평가한다. SCEs는 모델이 예측 결과를 변경하기 위해 입력을 수정하여 설명하는 방식이다. 연구 결과, LLMs는 유효한 SCEs를 생성하지만, 최소한의 수정으로는 생성하지 못하며, 이는 모델의 의사결정 과정에 대한 통찰력을 거의 제공하지 못한다는 것을 보여준다. 특히 최소한의 수정으로 SCEs를 생성하도록 요청했을 때는 예측 결과를 변경하지 못하는 과도하게 작은 수정을 하는 경향이 있다. 여러 LLMs, 데이터셋, 평가 설정에서 유효성과 최소성 사이의 상충관계가 관찰되었다. 따라서 SCEs는 효과적인 설명 가능성 도구가 아니며, 모델 동작에 대한 오해를 불러일으킬 수 있다는 결론을 내린다. 고위험 상황에서 LLMs를 배포하려면 신뢰할 수 없는 자체 설명이 후속 의사결정에 미치는 영향을 고려해야 한다.
