[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Benchmarking Mobile Device Control Agents across Diverse Configurations

Created by
  • Haebom

저자

Juyong Lee, Taywon Min, Minyong An, Dongyoon Hahm, Haeone Lee, Changyeon Kim, Kimin Lee

개요

B-MoCA는 모바일 기기 제어 에이전트의 성능 평가를 위한 새로운 벤치마크입니다. 안드로이드 운영체제를 기반으로 하며, 131개의 일상적인 작업을 포함하고 있습니다. 사용자 인터페이스 레이아웃 및 언어 설정 등 모바일 기기의 구성을 무작위로 변경하는 기능을 통해 일반화 성능을 평가합니다. 대규모 언어 모델(LLM) 또는 다중 모달 LLM을 사용하는 에이전트, 그리고 전문가 시연을 이용한 모방 학습으로 훈련된 에이전트 등 다양한 에이전트를 벤치마킹하여 간단한 작업에서는 능숙하지만 복잡한 작업에서는 성능이 저조함을 보여주었으며, 향후 연구를 위한 중요한 과제를 제시합니다. 소스 코드는 공개적으로 제공됩니다.

시사점, 한계점

시사점: 모바일 기기 제어 에이전트 연구를 위한 표준화된 벤치마크 제공, 다양한 에이전트의 성능 비교 및 분석 가능, 모바일 기기 제어 에이전트의 일반화 성능 평가 가능, 향후 연구 방향 제시 (복잡한 작업 수행 능력 향상).
한계점: 현재 벤치마크에 포함된 작업의 복잡성 수준 제한, 실제 사용 환경과의 차이, 특정 안드로이드 버전 및 기기에 의존적일 수 있음, 다양한 유형의 모바일 기기 및 사용자 행동을 충분히 반영하지 못할 가능성.
👍