대규모 언어 모델(LLM)이 수학적 추론 분야에서 괄목할 만한 발전을 이루었지만, 수치 계산 및 형식적 기호 조작과 같은 고정밀 작업에는 여전히 어려움을 겪고 있습니다. 외부 도구 통합은 이러한 격차를 해소하기 위한 유망한 접근 방식으로 부상했습니다. 기존 방법은 도구 통합 추론 데이터 구성, 미세 조정 최적화 수행, 추론 개선이라는 세 가지 주요 과제에 직면해 있습니다. 이러한 한계를 극복하기 위해, THOR(Tool-Integrated Hierarchical Optimization via RL)를 제안합니다. 먼저, TIRGen을 통해 양질의 도구 통합 추론 경로 데이터 세트를 구축하고, 다양한 모델에 걸쳐 정책을 정렬하고 일반화합니다. 둘째, 미세 조정 계층적 최적화를 수행하기 위해, 에피소드 수준의 문제 해결과 단계별 코드 생성을 공동으로 최적화하는 RL 전략을 도입합니다. 이는 중간 도구 호출의 성공이 최종 정답의 정확성을 예측하는 강력한 지표라는 핵심 통찰력에 기반합니다. 마지막으로, THOR는 즉각적인 도구 피드백을 활용하여 추론 과정에서 오류가 있는 추론 경로를 동적으로 수정하는 자체 수정 메커니즘을 통합합니다. THOR는 다양한 모델에서 강력한 일반화를 보여주며, 추론 및 비추론 모델 모두에서 효과적으로 작동합니다. 또한 여러 수학적 벤치마크에서 유사한 규모의 모델에 대해 최고 수준의 성능을 달성하고, 코드 벤치마크에서도 일관된 개선을 제공합니다.
