LLM이 내린 결정에 대한 설명이 그 결정의 실제 요인을 정확하게 반영하는지(충실성)를 분석합니다. 13개 계열의 75개 모델을 대상으로 반사실적 충실성을 분석하고, 간결성과 포괄성 사이의 균형, 상관 충실성 지표의 평가 방식, 지표 조작 가능성을 조사합니다. 두 가지 새로운 지표인 phi-CCT(Correlational Counterfactual Test, CCT의 간소화 버전)와 F-AUROC를 제안합니다. 연구 결과, 더 크고 성능이 좋은 모델이 충실성 지표에서 더 일관되게 높은 점수를 받았습니다.