Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Mobile-Bench-v2: A More Realistic and Comprehensive Benchmark for VLM-based Mobile Agents

Created by
  • Haebom

저자

Weikai Xu, Zhizheng Jiang, Yuxuan Liu, Wei Liu, Jian Luan, Yuanchun Li, Yunxin Liu, Bin Wang, Bo An

개요

본 논문은 기존 모바일 에이전트 벤치마크의 한계점(불안정한 보상 신호, 단일 경로 평가, 노이즈 및 사전적 상호작용 평가 부족)을 해결하기 위해 새로운 벤치마크인 Mobile-Bench-v2를 제시합니다. Mobile-Bench-v2는 슬롯 기반 명령 생성 방식을 사용하여 현실적인 환경을 구현하며, 오프라인 다중 경로 평가, 노이즈 데이터셋(팝업 및 광고 앱 포함, AITZ-Noise), 모호한 명령어 및 질의응답 상호작용을 포함하는 다양한 분할(split)을 제공하여 에이전트의 다양한 능력을 평가합니다. AppAgent-v1, Mobile-Agent-v2, UI-Tars, OS-Atlas 등 다양한 에이전트를 이용한 평가 결과도 제시하며, 코드와 데이터는 Hugging Face에서 공개합니다.

시사점, 한계점

시사점:
기존 모바일 에이전트 벤치마크의 문제점을 해결하는 새로운 벤치마크 Mobile-Bench-v2를 제시.
다양한 환경(다중 경로, 노이즈, 모호한 명령어)을 포함하여 모바일 에이전트의 능력을 포괄적으로 평가 가능.
공개된 코드와 데이터를 통해 모바일 에이전트 연구의 발전에 기여.
한계점:
Mobile-Bench-v2의 현실성 및 일반화 성능에 대한 추가적인 검증 필요.
특정 에이전트나 플랫폼에 대한 편향 가능성 존재.
더욱 다양한 유형의 모바일 앱과 상호작용 시나리오를 포함하는 확장 필요.
👍