ScienceBoard: Evaluating Multimodal Autonomous Agents in Realistic Scientific Workflows

Created by

Haebom

저자

Qiushi Sun, Zhoumianze Liu, Chang Ma, Zichen Ding, Fangzhi Xu, Zhangyue Yin, Haiteng Zhao, Zhenyu Wu, Kanzhi Cheng, Zhaoyang Liu, Jianing Wang, Qintong Li, Xiangru Tang, Tianbao Xie, Xiachong Feng, Xiang Li, Ben Kao, Wenhai Wang, Biqing Qi, Lingpeng Kong, Zhiyong Wu

💡 개요

본 연구는 과학 연구 워크플로우에서 자율적이고 멀티모달한 AI 에이전트의 성능을 평가하기 위한 새로운 환경인 ScienceBoard를 제안합니다. ScienceBoard는 다양한 과학 분야의 현실적인 워크플로우를 시뮬레이션하고, 169개의 엄선된 실제 과학 과제로 구성된 벤치마크를 제공합니다. 기존 최신 에이전트들의 평가 결과, 복잡한 과학 업무를 reliably 지원하는 데에는 아직 한계가 있음을 보여주었습니다.

🔑 시사점 및 한계

•

현실적이고 동적인 과학 연구 환경 및 벤치마크 제공을 통해 AI 에이전트의 과학적 문제 해결 능력 평가 가능성을 열었습니다.

•

최신 LLM 기반 에이전트들이 복잡한 과학 워크플로우에서 여전히 낮은 성공률(15%)을 보이며, 인간 연구자의 지원 없이는 한계가 있음을 명확히 했습니다.

•

현재 에이전트의 한계점을 분석하고, 향후 더 유능한 과학 발견 에이전트 개발을 위한 설계 원칙을 제시했습니다.

•

제안된 벤치마크는 현실적인 과학적 과제를 다루지만, 아직 에이전트가 극복해야 할 복잡성과 다양성이 존재하며, 더 광범위한 과학 분야 및 과제 유형을 포함할 필요가 있습니다.

PDF 보기

Made with Slashpage