尽管大规模语言模型 (LLM) 在数学推理方面取得了显著进展，但它们在数值计算和形式符号处理等高精度任务中仍面临挑战。集成外部工具已成为弥补这一差距的一种有效方法。现有方法面临三大挑战：构建工具集成推理数据、执行微调优化以及改进推理。为了克服这些限制，我们提出了基于强化学习的工具集成分层优化 (THOR)。首先，我们使用 TIRGen 构建高质量的工具集成推理路径数据集，并在不同模型之间对齐和推广策略。其次，我们引入一种强化学习策略，该策略联合优化情节级问题求解和逐步代码生成，以执行微调分层优化。这基于一个核心洞察：中间工具调用的成功是最终解决方案准确性的有力预测指标。最后，THOR 集成了自我修正机制，利用即时工具反馈在推理过程中动态纠正错误的推理路径。THOR 在各种模型中展现出强大的泛化能力，并且在推理和非推理模型上均能有效运行。此外，它在多个数学基准测试中，在类似规模的模型上实现了最佳性能，并在代码基准测试中持续提升性能。
