본 논문은 강화학습(RL)을 통해 대규모 언어 모델(LLM)이 외부 도구(Python 코드 실행)를 자발적으로 활용하여 수학 문제 해결 능력을 향상시키는 ZeroTIR(Zero-shot Tool-Integrated Reasoning) 방법을 제시합니다. 감독된 도구 사용 예시 없이 결과 기반 보상으로 RL을 적용하여 LLM이 Python 코드를 생성하고 실행하도록 학습시키는 접근 방식입니다. 실험 결과, RL 학습 단계 증가에 따라 코드 실행 빈도, 응답 길이, 최종 정확도가 모두 증가하는 양의 상관관계를 보였으며, 이는 학습에 투입된 계산 노력과 효과적인 도구 활용 전략 습득 간의 정량적 관계를 시사합니다. ZeroTIR은 기존의 도구를 사용하지 않는 ZeroRL 기준 모델보다 수학 벤치마크에서 성능이 훨씬 우수함을 보여줍니다. 본 연구는 에이전트 RL에서 자율적인 도구 사용 습득 및 확장에 대한 기초적인 이해를 제공하고, 향후 연구를 위한 재현 가능한 벤치마크를 제공합니다.
