Fei Bai, Yingqian Min, Beichen Zhang, Zhipeng Chen, Wayne Xin Zhao, Lei Fang, Zheng Liu, Zhongyuan Wang, Ji-Rong Wen
개요
본 논문은 모델이 필요에 따라 코드를 생성하고 코드 인터프리터를 통해 실행하여 피드백을 통합하는 코드 통합 추론(code-integrated reasoning)을 연구합니다. 이러한 능력을 갖추기 위해 모델은 도구 증강 강화 학습(tool-augmented RL)을 통해 상호 작용적 학습으로 외부 코드 도구를 언제 어떻게 효과적으로 사용할지 학습해야 합니다. 도구 증강 RL의 잠재적인 학습 역학 불안정성 문제를 해결하기 위해, 본 논문은 코드 통합 추론을 위한 도구 증강 RL의 훈련 효과 및 안정성을 향상시키는 체계적인 접근 방식을 제시합니다. 구체적으로 탐색과 안정성의 균형을 맞추고 도구 사용 능력을 점진적으로 구축하면서 추론 성능을 향상시키는 향상된 훈련 전략을 개발했습니다. 다섯 가지 주요 수학적 추론 벤치마크에 대한 광범위한 실험을 통해 여러 경쟁 기준 모델보다 성능이 크게 향상되었음을 보여줍니다. 또한 코드 통합 추론의 메커니즘과 효과에 대한 심층 분석을 통해 모델의 능력 경계 확장 및 코드 통합을 통한 추론 효율 동시 향상과 같은 몇 가지 주요 통찰력을 밝혀냈습니다. 모든 데이터와 코드는 https://github.com/RUCAIBox/CIR 에서 확인할 수 있습니다.
