DeepResearcher: Scaling Deep Research via Reinforcement Learning in Real-world Environments
Created by
Haebom
저자
Yuxiang Zheng, Dayuan Fu, Xiangkun Hu, Xiaojie Cai, Lyumanshan Ye, Pengrui Lu, Pengfei Liu
개요
본 논문에서는 웹 검색 기능을 갖춘 대규모 언어 모델(LLM) 기반 심층 연구 에이전트를 위한 최초의 종단간 훈련 프레임워크인 DeepResearcher를 소개합니다. 기존의 프롬프트 엔지니어링 기반 접근 방식이나 제한된 검색 증강 생성(RAG) 환경 내 강화 학습 기반 접근 방식과 달리, DeepResearcher는 실제 웹 검색 상호작용을 통해 대규모 강화 학습(RL)을 수행하여 종단간 훈련을 진행합니다. 다양한 웹페이지 구조에서 관련 정보를 추출하는 다중 에이전트 아키텍처를 구현하여 오픈 웹의 불확실하고, 비구조적이며, 동적인 특성을 탐색하도록 에이전트를 훈련합니다. 실험 결과, DeepResearcher는 프롬프트 엔지니어링 기반 기준 모델보다 최대 28.9점, RAG 기반 RL 에이전트보다 최대 7.2점 향상된 성능을 보였습니다. 정성적 분석을 통해 계획 수립, 다중 소스 정보 교차 검증, 연구 방향 전환을 위한 자기 반성, 명확한 답변을 찾을 수 없을 때 정직성 유지 등의 새로운 인지 행동이 나타나는 것을 확인했습니다. 본 연구는 실제 웹 환경에서의 종단간 훈련이 단순한 구현 세부 사항이 아니라 실제 응용 프로그램과 일치하는 강력한 연구 기능을 개발하기 위한 기본 요구 사항임을 강조합니다. DeepResearcher는 https://github.com/GAIR-NLP/DeepResearcher 에서 공개됩니다.
