BrowseComp-$V^3$: A Visual, Vertical, and Verifiable Benchmark for Multimodal Browsing Agents

Created by

Haebom

저자

Huanyao Zhang, Jiepeng Zhou, Bo Li, Bowen Zhou, Yanzhe Dan, Haishan Lu, Zhiyong Cao, Jiaoyang Chen, Yuqian Han, Zinan Sheng, Zhengwei Tao, Hao Liang, Jialong Wu, Yang Shi, Yuanpeng He, Jiaye Lin, Qintong Zhang, Guochen Yan, Runhao Zhao, Zhengpin Li, Xiaohan Yu, Lang Mei, Chong Chen, Wentao Zhang, Bin Cui

💡 개요

본 논문은 멀티모달 웹 브라우징 에이전트의 깊이 있는 검색 능력을 평가하기 위한 새로운 벤치마크인 BrowseComp-$V^3$를 제안한다. BrowseComp-$V^3$는 300개의 복잡한 질문으로 구성되며, 텍스트와 시각 정보가 혼합된 웹 페이지에서 여러 단계를 거치는 추론을 요구하고 모든 근거 자료는 공개적으로 검색 가능하도록 설계되었다. 또한, 최종 답변 정확도 외에도 중간 추론 과정을 평가하는 메커니즘을 도입하여 모델의 능력 경계를 체계적으로 파악할 수 있도록 하였다.

🔑 시사점 및 한계

•

기존 벤치마크의 한계를 극복하고 멀티모달 웹 브라우징 에이전트의 깊이 있는 검색 능력을 정밀하게 평가할 수 있는 표준을 제시한다.

•

중간 추론 과정 평가를 통해 모델의 약점을 식별하고 향후 연구 방향 설정에 기여한다.

•

현재 최신 모델들도 BrowseComp-$V^3$에서 36%의 정확도를 보이는 등, 실제 환경에서의 견고한 멀티모달 심층 검색 능력과 현존 모델 간의 큰 격차를 보여준다.

•

제안된 벤치마크는 복잡성이 높고 평가 항목이 세분화되어 있어, 향후 연구에서 모델의 멀티모달 정보 통합 및 미세 인식 능력을 개선하는 데 초점을 맞춰야 할 것이다.

PDF 보기

Made with Slashpage