Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

InfoMosaic-Bench: Evaluating Multi-Source Information Seeking in Tool-Augmented Agents

Created by
  • Haebom

저자

Yaxin Du, Yuanshuo Zhang, Xiyuan Yang, Yifan Zhou, Cheng Wang, Gongyi Zou, Xianghe Pang, Wenhao Wang, Menglan Chen, Shuo Tang, Zhiyu Li, Feiyu Xiong, Siheng Chen

개요

본 논문은 정보 탐색에 대한 LLM 에이전트의 한계를 지적하고, 전문 도구와 일반 검색을 통합하는 능력을 평가하기 위한 새로운 벤치마크인 InfoMosaic-Bench를 소개합니다. 이 벤치마크는 다양한 도메인에서 일반 검색과 도메인별 도구를 결합해야 하는 과제를 포함하며, 실험을 통해 LLM 에이전트가 이러한 통합에 어려움을 겪는다는 것을 밝힙니다.

시사점, 한계점

시사점:
웹 정보만으로는 충분하지 않으며, 도메인별 도구의 활용이 필수적입니다.
도메인 도구는 선택적인 이점을 제공하지만, 일관성이 부족합니다.
LLM 에이전트는 도구 사용 및 선택에 어려움을 겪습니다.
한계점:
현재 LLM 에이전트의 도구 활용 능력 부족.
도구 통합 및 복잡한 정보 탐색 작업의 어려움.
👍