본 논문은 대규모 언어 모델(LLM)의 복잡한 수학적 추론 능력 향상을 위한 새로운 프레임워크인 CAMA(Causal Mathematician)를 제안한다. CAMA는 두 단계로 구성된 인과적 프레임워크로, LLM에 명시적이고 재사용 가능한 수학적 구조를 부여한다. 첫 번째 단계인 학습 단계에서는 질문-답변 쌍의 말뭉치에 인과적 발견 알고리즘과 LLM 사전 지식을 결합하여 수학적 인과 그래프(MCG)를 생성한다. MCG는 필수적인 지식 포인트와 그 인과적 의존성을 인코딩한다. 두 번째 단계인 추론 단계에서는 새로운 질문이 주어지면 질문 내용과 LLM의 중간 추론 과정을 바탕으로 MCG에서 작업 관련 하위 그래프를 동적으로 추출하여 LLM의 추론 과정을 안내한다. 실험 결과, CAMA는 어려운 수학 문제에 대한 LLM의 성능을 크게 향상시키며, 구조화된 안내가 비구조화된 안내보다 우수하고, 비대칭적 인과 관계를 통합하는 것이 대칭적 연관성만 사용하는 것보다 더 큰 향상을 가져온다는 것을 보여준다.
