FedMABench: Benchmarking Mobile Agents on Decentralized Heterogeneous User Data
Created by
- Haebom
Category
Empty
저자
Wenhao Wang, Zijie Yu, Rui Ye, Jianqing Zhang, Siheng Chen, Yanfeng Wang
개요
본 논문은 모바일 에이전트의 분산 학습을 위한 최초의 벤치마크인 FedMABench를 소개합니다. 기존 모바일 에이전트 학습 방식의 한계인 중앙 집중식 데이터 수집의 높은 비용과 확장성 부족을 해결하기 위해, 연합 학습을 활용한 분산 학습 방식을 제안합니다. FedMABench는 6개의 데이터셋 (30개 이상의 하위 데이터셋 포함), 8개의 연합 학습 알고리즘, 10개 이상의 기본 모델, 5개 카테고리에 걸쳐 800개 이상의 앱을 포함하여 이종 환경에서 모바일 에이전트를 종합적으로 평가할 수 있는 프레임워크를 제공합니다. 실험 결과, 연합 학습 알고리즘이 지역 학습보다 우수하며, 특정 앱의 분포와 앱 카테고리 간의 상관관계가 이종성에 중요한 역할을 한다는 것을 밝혔습니다. FedMABench는 깃허브 및 Hugging Face를 통해 공개적으로 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
연합 학습 기반의 모바일 에이전트 학습이 지역 학습보다 성능이 우수함을 실험적으로 증명.
◦
모바일 에이전트 학습에서 데이터셋의 이종성 및 앱 분포의 중요성을 제시.
◦
서로 다른 카테고리의 앱들 간에도 학습 과정에서 상관관계가 존재할 수 있음을 발견.
◦
FedMABench라는 표준화된 벤치마크를 제공하여 모바일 에이전트 연구 발전에 기여.
•
한계점:
◦
현재 벤치마크에 포함된 데이터셋, 알고리즘, 모델의 종류가 향후 더욱 다양해질 필요가 있음.
◦
실제 환경의 복잡성을 완벽하게 반영하지 못할 가능성 존재.
◦
벤치마크의 확장성 및 유지보수에 대한 장기적인 계획 필요.
