Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Mind the Gap: Bridging Thought Leap for Improved Chain-of-Thought Tuning

Created by
  • Haebom
Category
Empty

저자

Haolei Xu, Yuchen Yan, Yongliang Shen, Wenqi Zhang, Guiyang Hou, Shengpei Jiang, Kaitao Song, Weiming Lu, Jun Xiao, Yueting Zhuang

개요

본 논문은 Chain-of-Thought (CoT) 추론을 활용한 대규모 언어 모델(LLM)이 수학적 문제 해결에 있어, 전문가들이 중간 단계를 생략하여 발생하는 Thought Leaps 문제를 해결하고자 한다. 이를 위해, CoT Thought Leap Bridge Task를 제안하고, ScaleQuestMath 데이터셋을 기반으로 한 ScaleQM+ 훈련 데이터셋을 구축하여, CoT-Bridge 모델을 훈련하여 Thought Leaps를 감지하고 누락된 중간 추론 단계를 생성함으로써 CoT의 완전성과 일관성을 복원한다. 실험 결과, CoT-Bridge를 통해 보완된 데이터셋으로 훈련된 모델이 기존 데이터셋으로 훈련된 모델보다 성능이 향상되었으며, 특히 NuminaMath에서 최대 +5.87%의 개선을 보였다. 또한, 본 연구는 데이터 정제와 강화 학습에 도움이 되며, 일반화 성능 향상에도 기여함을 확인했다.

시사점, 한계점

시사점:
CoT 추론의 완전성 및 일관성 향상을 통해 LLM의 수학적 문제 해결 능력 향상.
Thought Leaps 문제를 해결하는 CoT-Bridge Task 및 ScaleQM+ 데이터셋 제시.
기존 최적화 기법과 호환되는 Plug-and-Play 모듈 개발.
수학적 추론뿐만 아니라, 일반적인 논리적 추론 능력 향상에 기여.
데이터 정제 및 강화 학습을 위한 효과적인 방법론 제공.
한계점:
특정 데이터셋(ScaleQuestMath) 기반의 모델 훈련 및 평가.
다양한 유형의 Thought Leaps 및 추론 문제에 대한 일반화 성능 추가 검증 필요.
실제 문제 해결에 대한 적용 가능성 및 효과에 대한 추가 연구 필요.
👍