Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Mobile-R1: Towards Interactive Reinforcement Learning for VLM-Based Mobile Agent via Task-Level Rewards

Created by
  • Haebom

저자

Jihao Gu, Qihang Ai, Yingyao Wang, Pi Bu, Jingxuan Xing, Zekun Zhu, Wei Jiang, Ziming Wang, Yingxiu Zhao, Ming-Liang Zhang, Jun Song, Yuning Jiang, Bo Zheng

개요

본 논문은 모바일 환경에서 복잡한 명령어와 스크린샷을 이해하고 강화학습(GRPO)을 통해 행동을 최적화하는 시각-언어 모델 기반 모바일 에이전트를 연구합니다. 기존 연구는 오프라인 강화학습 훈련이나 행동 단위 보상을 사용한 온라인 최적화에 집중하여 에이전트의 동적 환경 상호작용을 제한하고, 지역적 최적점에 빠지는 문제점이 있었습니다. 이를 해결하기 위해, 본 논문은 작업 단위 보상을 사용하는 상호작용적 다회차 강화학습 기법인 Mobile-R1을 제안합니다. Mobile-R1은 초기 형식 미세조정, 행동 단위 보상을 통한 단일 단계 온라인 훈련, 그리고 다회차 경로를 기반으로 한 작업 단위 보상을 통한 온라인 훈련의 세 단계로 구성됩니다. 28개의 중국어 애플리케이션을 포함하는 24,521개의 고품질 수동 주석 데이터셋과 500개 경로의 새로운 벤치마크를 구축하였으며, 데이터셋, 벤치마크, 모델 가중치, 코드를 공개합니다 (https://mobile-r1.github.io/Mobile-R1/).

시사점, 한계점

시사점:
작업 단위 보상을 활용한 다회차 강화학습을 통해 모바일 에이전트의 탐험 능력과 오류 수정 능력 향상
28개 중국어 앱, 24,521개 고품질 수동 주석 데이터셋 및 벤치마크 공개를 통한 연구 발전에 기여
Mobile-R1의 우수한 성능을 통해 모바일 에이전트 연구에 새로운 가능성 제시
한계점:
현재 데이터셋은 중국어 앱에 국한되어 있어 다른 언어 및 문화권으로의 일반화 가능성에 대한 추가 연구 필요
작업 단위 보상 설계의 복잡성 및 최적화 문제에 대한 추가적인 연구 필요
다양한 모바일 환경 및 앱에서의 일반화 성능 평가 필요
👍