본 논문은 기존의 다중모드 대규모 언어 모델(MLLM) 기반 에이전트가 모바일 기기의 복잡한 GUI(Graphical User Interface) 상호작용을 처리하는 데 어려움을 겪는 문제를 해결하기 위해, 새로운 MLLM 기반 모바일 어시스턴트 시스템인 MobA를 제안한다. MobA는 오류 복구를 위한 반성 메커니즘을 통합하고 실제 환경 맥락과 행동 모듈의 실행 능력에 맞춰 계획을 동적으로 조정하는 적응형 계획 모듈과, 적응성과 효율성을 높이기 위한 다면적 메모리 모듈을 도입한다. 또한, 복잡한 모바일 상호작용을 위해 설계된 MobBench 데이터셋을 제시한다. MobBench와 AndroidArena에서의 실험 결과는 MobA가 동적인 GUI 환경을 처리하고 복잡한 모바일 작업을 수행할 수 있음을 보여준다.
시사점, 한계점
•
시사점:
◦
복잡한 모바일 GUI 상호작용을 효과적으로 처리하는 새로운 MLLM 기반 모바일 어시스턴트 시스템 MobA 제안
