본 논문은 검증 가능한 보상으로부터 강화 학습(RLVR)을 사용하여 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 방법을 제시합니다. 기존 RLVR은 수학이나 경쟁 프로그래밍과 같은 검증 가능한 영역에서는 효과적이지만, 다단계의 복잡한 문제 해결이 필요한 에이전트 환경에서는 효과가 떨어집니다. 이를 해결하기 위해, 본 논문에서는 에이전트 안내(agent guidance) 메커니즘을 도입한 Agent-RLVR 프레임워크를 제안합니다. 에이전트 안내는 고수준 전략 계획부터 에이전트의 오류 및 환경 상호 작용에 대한 동적 피드백까지 다양한 정보를 활용하여 에이전트를 성공적인 궤적(trajectory)으로 유도합니다. 이를 통해 에이전트는 어려운 해결 공간을 탐색하고 추가적인 환경 탐색을 통해 자기 개선을 촉진합니다. Agent-RLVR은 소프트웨어 엔지니어링 작업에 초점을 맞춰, Qwen-2.5-72B-Instruct 모델의 SWE-Bench Verified에서 pass@1 성능을 9.4%에서 22.4%로 향상시켰으며, 테스트 시간 보상 모델 훈련에 안내 데이터를 추가로 활용하여 27.8%까지 성능을 높였습니다.
