본 논문은 대규모 언어 모델(LLM)의 성능 향상을 위해 외부 도구를 활용하는 방법을 연구한다. 실제 세계 시뮬레이션을 통해 도구 사용 데이터를 합성하는 방식이 효과적이지만, 합성 데이터 증가에 따라 학습 효과가 감소하고 복잡한 시나리오에서 성능이 저하되는 문제점을 발견했다. 이러한 문제는 모델 출력과 정답 간의 미세한 차이(결함)에서 기인하는데, 특히 복잡한 추론을 필요로 하는 매개변수 값 오류 등이 포함된다. 이를 해결하기 위해, Monte Carlo Tree Search를 이용한 경로 탐색으로 합성 데이터 다양성을 높이고, 결함 관련 데이터를 식별하여 세분화된 선호도 쌍을 구성하고 선호도 최적화를 적용하는 반복 강화 미세 조정 전략을 제안한다. 실험 결과, 제안된 방법을 사용하여 학습된 모델은 기준 모델보다 약 12% 향상된 성능을 보이며, 대규모 오픈소스 및 클로즈드소스 모델을 능가하는 결과를 얻었다.
