DeepResearch Arena: The First Exam of LLMs' Research Abilities via Seminar-Grounded Tasks
Created by
Haebom
Category
Empty
저자
Haiyuan Wan, Chen Yang, Junchi Yu, Meiqi Tu, Jiaxuan Lu, Di Yu, Jianbao Cao, Ben Gao, Jiaqing Xie, Aoran Wang, Wenlong Zhang, Philip Torr, Dongzhan Zhou
개요
딥러닝 기반 연구 에이전트의 연구 능력 평가의 어려움을 해결하기 위해, 실제 연구 환경을 반영하고 데이터 유출 위험을 줄인 학술 세미나 기반 벤치마크, DeepResearch Arena를 소개합니다. DeepResearch Arena는 학술 세미나에서 연구 가치가 있는 영감을 추출하고 고품질 연구 과제로 변환하는 Multi-Agent Hierarchical Task Generation (MAHTG) 시스템을 사용하여 자동 구축되었습니다. 이 시스템을 통해 문학, 역사, 과학 등 12개 분야, 200개 이상의 학술 세미나에서 10,000개 이상의 고품질 연구 과제를 포함하는 DeepResearch Arena를 구축했으며, 이를 통해 최신 에이전트들의 성능 격차를 확인했습니다.
시사점, 한계점
•
시사점:
◦
실제 연구 환경을 반영하는 벤치마크 구축으로 연구 에이전트의 현실적인 평가 가능성 제시
◦
학술 세미나를 활용하여 데이터 유출 위험 감소
◦
MAHTG 시스템을 통한 자동화된 연구 과제 생성 및 추적 가능
◦
다양한 분야의 10,000개 이상의 고품질 연구 과제 제공
◦
최신 에이전트의 성능 한계 명확히 제시
•
한계점:
◦
학술 세미나 데이터에 의존적이므로, 데이터의 질과 다양성에 따라 벤치마크의 한계 존재 가능성
