Tongyi DeepResearch Technical Report
Created by
- Haebom
Category
Empty
저자
Tongyi DeepResearch Team, Baixuan Li, Bo Zhang, Dingchu Zhang, Fei Huang, Guangyu Li, Guoxin Chen, Huifeng Yin, Jialong Wu, Jingren Zhou, Kuan Li, Liangcai Su, Litu Ou, Liwen Zhang, Pengjun Xie, Rui Ye, Wenbiao Yin, Xinmiao Yu, Xinyu Wang, Xixi Wu, Xuanzhong Chen, Yida Zhao, Zhen Zhang, Zhengwei Tao, Zhongwang Zhang, Zile Qiao, Chenxi Wang, Donglei Yu, Gang Fu, Haiyang Shen, Jiayin Yang, Jun Lin, Junkai Zhang, Kui Zeng, Li Yang, Hailong Yin, Maojia Song, Ming Yan, Peng Xia, Qian Xiao, Rui Min, Ruixue Ding, Runnan Fang, Shaowei Chen, Shen Huang, Shihang Wang, Shihao Cai, Weizhou Shen, Xiaobin Wang, Xin Guan, Xinyu Geng, Yingcheng Shi, Yuning Wu, Zhuo Chen, Zijian Li, Yong Jiang
개요
본 논문은 장기적이고 심층적인 정보 탐색 연구 작업을 위해 특별히 설계된 에이전트형 대규모 언어 모델인 Tongyi DeepResearch를 제시합니다. Tongyi DeepResearch는 자율적인 심층 연구 에이전시를 장려하기 위해 에이전트형 중간 훈련과 에이전트형 후기 훈련을 결합한 종단간 훈련 프레임워크를 통해 개발되었으며, 복잡한 작업 전반에 걸쳐 확장 가능한 추론과 정보 탐색을 가능하게 합니다. 또한, 비용이 많이 드는 인간 주석에 의존하지 않고 완전히 자동화된 고도로 확장 가능한 데이터 합성 파이프라인을 설계하여 모든 훈련 단계를 지원합니다. 각 단계별로 맞춤형 환경을 구축하여 시스템은 일관성 있고 안정적인 상호 작용을 가능하게 합니다. 총 305억 개의 파라미터를 갖춘 Tongyi DeepResearch는 토큰당 33억 개만 활성화되어 Humanity's Last Exam, BrowseComp, BrowseComp-ZH, WebWalkerQA, xbench-DeepSearch, FRAMES 및 xbench-DeepSearch-2510을 포함한 다양한 에이전트형 심층 연구 벤치마크에서 최고 성능을 달성했습니다. 또한, 커뮤니티를 지원하기 위해 모델, 프레임워크 및 완전한 솔루션을 오픈소스로 공개합니다.
시사점, 한계점
•
시사점:
◦
자율적인 심층 연구 에이전시를 위한 새로운 에이전트형 대규모 언어 모델 개발.
◦
자동화된 데이터 합성 파이프라인을 통한 확장 가능한 훈련.
◦
다양한 심층 연구 벤치마크에서 SOTA 달성.
◦
모델, 프레임워크 및 솔루션의 오픈 소스화.
•
한계점:
◦
구체적인 한계점은 논문에 명시되지 않음. (논문 요약에 한계점에 대한 정보가 없음)
