본 논문은 대규모 언어 모델(LLM)의 예측 불가능성 문제를 해결하기 위해, 모델의 설명 능력을 평가하는 새로운 방법론을 제시합니다. 특히, 반실제(counterfactual) 시뮬레이션 가능성에 초점을 맞춰, 설명이 사용자가 관련된 반실제 상황에서 모델의 출력을 얼마나 잘 예측할 수 있도록 하는지를 평가합니다. 기존 연구에서 yes/no 질문 답변에 적용된 이 방법론을 뉴스 요약 및 의료 제안과 같은 생성 작업으로 확장하는 일반적인 프레임워크를 제공합니다. 뉴스 요약 작업에서는 LLM 설명이 사용자의 반실제 상황에 대한 예측 정확도를 향상시키는 것으로 나타났지만, 의료 제안 작업에서는 개선의 여지가 상당히 크다는 것을 발견했습니다. 또한, 반실제 시뮬레이션 가능성 평가는 지식 기반 작업보다는 기술 기반 작업에 더 적합할 수 있다는 점을 시사합니다.
