Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Beyond Ten Turns: Unlocking Long-Horizon Agentic Search with Large-Scale Asynchronous RL

Created by
  • Haebom

저자

Jiaxuan Gao, Wei Fu, Minyang Xie, Shusheng Xu, Chuyi He, Zhiyu Mei, Banghua Zhu, Yi Wu

개요

본 논문은 대규모 언어 모델(LLM) 기반 에이전트의 검색 능력 향상을 위한 오픈소스 프로젝트인 ASearcher를 소개한다. 기존의 LLM 기반 에이전트는 복잡한 작업을 처리하는 데 있어 외부 도구, 특히 검색 도구의 통합이 중요하지만, 전문가 수준의 검색 지능(모호한 질문 해결, 정확한 검색 생성, 결과 분석, 철저한 탐색)에는 미흡하다. ASearcher는 이러한 한계를 극복하기 위해 확장 가능하고 효율적인 비동기 강화 학습(RL) 기반 훈련 프레임워크를 제시한다. LLM 에이전트는 고품질의 질문과 답변(QA) 데이터셋을 자체적으로 생성하며, 장기간의 검색(40턴 이상, 출력 토큰 15k 이상)을 수행할 수 있다. 실험 결과, xBench와 GAIA 벤치마크에서 기존 오픈소스 32B 에이전트를 능가하는 성능을 보였다. 모델, 훈련 데이터, 코드는 공개되어 있다.

시사점, 한계점

시사점:
대규모 언어 모델 기반 에이전트의 검색 능력 향상에 대한 새로운 접근 방식 제시.
확장 가능하고 효율적인 비동기 강화 학습 기반 훈련 프레임워크 개발.
고품질 QA 데이터셋 자체 생성을 통한 성능 향상.
장기간의 복잡한 검색 전략 학습 가능성 증명.
기존 오픈소스 에이전트 대비 우수한 성능 달성.
오픈소스 공개를 통한 연구 공유 및 발전 촉진.
한계점:
ASearcher의 성능 향상이 특정 벤치마크(xBench, GAIA)에 국한될 가능성.
실제 세계의 다양한 검색 과제에 대한 일반화 성능 검증 필요.
훈련 데이터의 품질 및 편향성에 대한 추가적인 분석 필요.
에이전트의 설명 가능성 및 신뢰성에 대한 연구 필요.
👍