본 논문에서는 상호작용 환경에서 복잡한 작업을 해결하는 데 점점 중요해지는 대규모 언어 모델(LLM) 에이전트에 대해 다룹니다. 기존 연구는 주로 강력한 전문가로부터의 행동 복제를 통해 성능을 향상시키는 데 초점을 맞추었지만, 이러한 접근 방식은 오류로부터 복구할 수 없기 때문에 실제 응용 프로그램에서 종종 실패합니다. 본 논문은 에이전트가 실시간으로 반성할 수 있도록 하는 반복적인 자기 훈련 프레임워크인 Agent-R을 제안합니다. Agent-R은 정확성에 따라 행동에 보상하거나 벌칙을 부과하는 기존 방법과 달리, MCTS(Monte Carlo Tree Search)를 활용하여 잘못된 경로에서 올바른 경로를 복구하는 훈련 데이터를 구성합니다. Agent-R은 실패한 경로에서 첫 번째 오류 단계를 식별하고, 이를 트리에서 같은 부모 노드를 공유하는 인접한 정답 경로와 연결하는 모델 안내 비평 구성 메커니즘을 도입하여 시기 적절한 수정을 가능하게 합니다. 또한, 오류 수정 기능과 데이터셋 구성의 반복적인 개선을 통해 이러한 자기 개선 패러다임의 확장성을 조사합니다. 실험 결과, Agent-R이 에이전트가 오류를 수정하고 루프를 피하도록 효과적으로 장착하여 기준 방법보다 성능이 우수함을 보여줍니다(+5.59%).
