본 논문은 도구 통합 추론(TIR)이 대규모 언어 모델(LLM)의 성능을 향상시키는 이유를 연구합니다. Python 코드 인터프리터와 같은 도구와 통합된 LLM은 큰 가능성을 보여주지만, 이 패러다임이 효과적인 이유를 설명하는 원칙적인 이론은 부족했습니다. 본 연구는 TIR이 LLM의 기능을 근본적으로 확장한다는 것을 최초로 공식적으로 증명합니다. 도구는 모델의 경험적이고 실행 가능한 지원을 엄격하게 확장하여, 그렇지 않으면 불가능하거나 다루기 힘들 정도로 장황한 문제 해결 전략을 가능하게 함으로써 순수 텍스트 모델의 성능 한계를 극복합니다. 모델의 학습 안정성과 성능을 저해하지 않고 모델의 행동을 지도하기 위해, 본 논문에서는 이점 함수를 직접 수정하여 정책 행동을 안내하는 새로운 알고리즘인 Advantage Shaping Policy Optimization (ASPO)를 제시합니다. Python 인터프리터를 외부 도구로 활용하여 어려운 수학적 벤치마크에 대한 포괄적인 실험을 수행했습니다. 실험 결과, TIR 모델이 순수 텍스트 모델보다 pass@k 지표에서 확실하게 우수한 성능을 보였습니다. 중요한 것은 이러한 이점이 계산 집약적인 문제에만 국한되지 않고 상당한 추상적 통찰력을 필요로 하는 문제에도 확장된다는 점입니다. 또한 모델이 도구를 사용하여 생각하는 방법을 보여주는 새로운 인지 패턴을 확인했습니다. 마지막으로, ASPO를 사용하여 초기 코드 호출 및 훨씬 더 상호 작용적인 턴을 통해 향상된 도구 사용 행동을 보고합니다. 전반적으로, 본 연구는 TIR의 성공에 대한 최초의 원칙적인 설명을 제공하며, 도구가 작동한다는 단순한 사실에서 왜 그리고 어떻게 더 강력한 추론을 가능하게 하는지에 대한 초점을 이동시킵니다.
