본 논문은 인간의 놀라운 구성적 추론 능력, 즉 다양한 정보원으로부터 얻은 지식을 통합하는 능력을 모방하는 Transformer 모델의 잠재력을 평가하기 위해 새로운 합성 학습 과제인 FTCT(Fragmented at Training, Chained at Testing)를 제안합니다. FTCT 과제는 훈련 단계에서 전체 인과 그래프로부터 분리된 지식 조각들을 제공하고, 테스트 단계에서 Transformer 모델이 이러한 조각들을 통합하여 전체 인과 그래프 추적을 추론해야 합니다. 실험 결과, 몇 번의 시도만으로 Chain-of-Thought 프롬프팅을 사용한 Transformer 모델이 훈련 데이터에 없는 조합까지도 정확하게 조합하여 구성적 추론을 수행할 수 있음을 보여줍니다. 또한, 구성적 추론 능력의 발현은 모델의 복잡성과 훈련 및 테스트 데이터의 유사성과 강한 상관관계를 갖는다는 것을 밝혔습니다. 이를 통해 Transformer 모델이 훈련 과정에서 일반화 가능한 프로그램을 학습하여 테스트 단계에서 효과적인 구성적 추론을 가능하게 한다는 것을 이론적 및 실험적으로 제시합니다.
