본 논문은 언어 모델(LM)의 인과 추론 능력을 아동 발달 심리학의 Blicket Test를 이용하여 평가한다. 연구 결과, LM은 일반적인 비배타적(disjunctive) 인과 관계는 잘 추론하지만, 드물지만 증거가 충분한 배타적(conjunctive) 인과 관계는 어려워하는 "비배타적 편향"을 보이는 것으로 나타났다. 이러한 편향은 모델 종류, 크기, 프롬프트 전략에 관계없이 지속되며, 과제 복잡도가 증가할수록 성능이 저하되었다. 흥미롭게도, 성인에게서도 유사한 편향이 관찰되어 LM이 훈련 데이터에서 심층적인 추론 휴리스틱을 학습했을 가능성을 시사한다. 연구진은 가설을 명시적으로 샘플링하고 제거하는 테스트 시간 샘플링 방법을 제안하여 비배타적 편향을 줄이고 과학적이고 인과적으로 엄격한 추론에 가까워지도록 했다.
