본 논문은 인간의 놀라운 구성적 추론 능력, 즉 다양한 출처의 지식을 통합하는 능력을 모방하는 Transformer의 잠재력을 검증하기 위해 새로운 합성 학습 과제인 "FTCT" (Fragmented at Training, Chained at Testing)를 제시합니다. FTCT는 훈련 단계에서 전체적인 인과 그래프로부터 분리된 지식 조각들을 데이터로 사용하고, 테스트 단계에서는 Transformer가 이러한 조각들을 통합하여 전체 인과 그래프 추적을 추론해야 합니다. 실험 결과, Few-shot Chain-of-Thought 프롬프팅을 통해 Transformer가 훈련 데이터에 없는 조합이라도 정확한 조각 조합을 밝혀냄으로써 FTCT에서 구성적 추론을 수행할 수 있음을 보여줍니다. 또한, 구성적 추론 능력의 출현은 모델 복잡성과 훈련-테스트 데이터 유사성과 강한 상관관계를 가지며, Transformer가 훈련으로부터 일반화 가능한 프로그램을 학습하여 테스트 중 효과적인 구성적 추론을 가능하게 한다는 것을 이론적 및 실험적으로 제시합니다.
