본 논문은 대규모 언어 모델(LLM)이 복잡한 수학적 추론에 어려움을 겪는 문제를 해결하기 위해, 재사용 가능한 수학적 구조를 LLM에 제공하는 2단계 인과적 프레임워크인 CAMA(Causal Mathematician)를 제안합니다. CAMA는 학습 단계에서 질문-해결 쌍의 코퍼스에 인과적 발견 알고리즘을 적용하여 LLM 사전 지식과 결합하여 솔루션 전략의 상위 수준 표현인 MCG(Mathematical Causal Graph)를 구축합니다. MCG는 핵심 지식 포인트와 인과적 의존성을 인코딩합니다. 추론 단계에서 CAMA는 새로운 질문에 대해 MCG에서 작업 관련 하위 그래프를 동적으로 추출하여 LLM의 중간 추론 흔적과 질문 내용에 따라 조건화합니다. 이 하위 그래프는 LLM의 추론 과정을 안내합니다. 실험 결과는 CAMA가 어려운 수학 문제에 대한 LLM 성능을 크게 향상시키고, 구조화된 지침이 비구조화된 대안보다 우수하며, 비대칭적 인과 관계를 통합하는 것이 대칭적 연관성만 사용하는 것보다 더 큰 개선을 가져온다는 것을 보여줍니다.
