Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CAMA: Enhancing Mathematical Reasoning in Large Language Models with Causal Knowledge

Created by
  • Haebom
Category
Empty

저자

Lei Zan, Keli Zhang, Ruichu Cai, Lujia Pan

개요

대규모 언어 모델(LLM)은 다양한 작업에서 강력한 성능을 보이지만, 복잡한 수학적 추론에서는 여전히 어려움을 겪습니다. 이 문제를 해결하기 위해, 본 논문에서는 명시적이고 재사용 가능한 수학적 구조를 LLM에 제공하는 2단계 인과적 프레임워크인 \textbf{CA}usal \textbf{MA}thematician(\textbf{CAMA})을 제안합니다. 학습 단계에서 CAMA는 LLM 사전 지식과 질문-해결 쌍의 말뭉치에 적용된 인과 관계 발견 알고리즘을 결합하여 솔루션 전략의 상위 수준 표현인 \textbf{M}athematical \textbf{C}ausal \textbf{G}raph (\textbf{MCG})를 구축합니다. 결과 MCG는 필수 지식 포인트와 인과적 의존성을 인코딩합니다. 추론 단계에서 CAMA는 새로운 질문이 주어지면 질문 내용과 LLM의 중간 추론 추적을 모두 기반으로 MCG에서 작업 관련 하위 그래프를 동적으로 추출합니다. 이 하위 그래프는 LLM의 추론 과정을 안내하기 위해 LLM에 다시 주입됩니다. 실제 데이터 세트에 대한 실험 결과는 CAMA가 어려운 수학 문제에서 LLM의 성능을 크게 향상시킨다는 것을 보여줍니다.

시사점, 한계점

CAMA는 LLM에 명시적인 수학적 구조를 제공하여 복잡한 수학 문제 해결 능력을 향상시킵니다.
구조화된 가이드라인이 비구조화된 대안보다 일관되게 우수한 성능을 보입니다.
비대칭 인과 관계를 통합하면 대칭 연관성만 사용하는 것보다 더 큰 개선이 이루어집니다.
논문은 LLM 사전 지식과 인과 관계 발견 알고리즘의 결합을 통해 MCG를 구축합니다.
CAMA는 실제 데이터 세트에서 실험적으로 그 효과를 입증했습니다.
논문에서 제시된 한계점은 명시적으로 언급되지 않았습니다.
👍