본 논문은 대규모 언어 모델(LLM)의 추론 성능 향상에 기여하는 Chain-of-Thought(CoT)의 작동 메커니즘을 밝히기 위해 Causal CoT Graphs(CCGs)를 제시한다. CCGs는 LLM 출력에서 미세한 인과적 의존성을 모델링하는 방향성 비순환 그래프로, 추론 과정을 자동으로 추출한다. 논문에서는 MATH500, GSM8K, AIME의 수학적 추론 문제 1671개와 이에 해당하는 CCGs를 포함하는 KisMATH 데이터셋을 공개한다. 15개의 오픈 가중치 LLM을 이용한 실험 분석을 통해, CCG의 추론 노드가 최종 답변에 대한 매개체 역할을 하고, LLM이 CCG에 의해 주어진 추론 경로를 강조함을 보여준다. KisMATH는 그래프 정렬된 제어된 개입을 가능하게 하여 LLM 추론에서 CoT의 역할에 대한 추가 연구를 위한 길을 연다.
