An Empirical Study on Reinforcement Learning for Reasoning-Search Interleaved LLM Agents
Created by
Haebom
저자
Bowen Jin, Jinsung Yoon, Priyanka Kargupta, Sercan O. Arik, Jiawei Han
개요
본 논문은 강화학습(RL)을 이용하여 실제 문제 해결을 위한 복잡한 추론 능력을 갖춘 대규모 언어 모델(LLM) 기반 검색 에이전트를 훈련하는 방법을 연구합니다. 특히, 보상 설계, 기저 LLM의 선택 및 특징, 검색 엔진의 역할 등 주요 요소들에 대한 종합적인 실험적 연구를 수행하여, 효과적인 LLM 기반 검색 에이전트 구축 및 배포를 위한 중요한 지침을 제시합니다. 주요 연구 결과로는 형식적 보상이 성능 향상에 효과적이라는 점, LLM의 규모와 초기화 방식이 RL 결과에 큰 영향을 미친다는 점, 검색 엔진의 선택이 RL 훈련 역학과 훈련된 에이전트의 추론 시 강건성에 중요한 역할을 한다는 점 등을 확인하였습니다. 코드는 https://github.com/PeterGriffinJin/Search-R1 에서 확인할 수 있습니다.