본 논문은 대규모 언어 모델(LLM)의 추론 능력을 일반화하는 데 중요한 기술로 떠오른 반사실적 추론에 대해 다룹니다. 반사실적 시나리오를 생성하고 분석함으로써 모델 의사결정의 적응성과 신뢰성을 평가할 수 있습니다. 기존 연구에서는 LLM이 종종 반사실적 추론에 어려움을 겪는다는 것을 보여주었지만, 다양한 작업과 모드에서 LLM의 성능을 가장 크게 저해하는 요인이 무엇인지는 불분명합니다. 본 논문에서는 인과 관계 구성부터 반사실적 개입에 대한 추론까지 반사실적 생성을 분해하는 전략을 제안합니다. 분해 분석을 지원하기 위해 자연어 이해, 수학, 프로그래밍 및 비전-언어 작업을 포함한 다양한 작업에 걸쳐 11개의 데이터 세트를 조사합니다. 광범위한 평가를 통해 각 분해 단계에서 LLM의 동작을 특징짓고 모드 유형과 중간 추론이 성능에 어떤 영향을 미치는지 파악합니다. 반사실적 추론을 분석하기 위한 구조적 프레임워크를 구축함으로써, 본 연구는 더욱 신뢰할 수 있는 LLM 기반 추론 시스템 개발에 기여하고 미래의 유도 전략에 대한 정보를 제공합니다.
