본 논문은 강화학습(RL)을 활용한 그래픽 사용자 인터페이스(GUI) 에이전트의 최근 발전에 대한 구조적 조사를 제공합니다. 멀티모달 대규모 언어 모델(MLLM) 기반 GUI 에이전트를 마르코프 의사결정 과정(MDP)으로 공식화하고, 일반적인 실행 환경과 평가 지표를 논의합니다. 인지, 계획, 행동 모듈을 포함하는 (M)LLM 기반 GUI 에이전트의 모듈식 아키텍처를 검토하고, 대표적인 연구들을 통해 그 발전 과정을 추적합니다. 또한, 프롬프트 기반, 지도 미세 조정(SFT) 기반, RL 기반 접근 방식으로 GUI 에이전트 훈련 방법론을 분류하고, 간단한 프롬프트 엔지니어링에서 RL을 통한 동적 정책 학습으로의 발전 과정을 강조합니다. 다양한 모드 인지, 의사결정 추론 및 적응형 행동 생성의 최근 혁신이 복잡한 실제 환경에서 GUI 에이전트의 일반화 및 강건성을 크게 향상시킨 방법을 보여줍니다. 마지막으로, 더욱 유능하고 신뢰할 수 있는 GUI 에이전트를 구축하기 위한 주요 과제와 미래 방향을 제시합니다.
