Enhancing Visual Grounding for GUI Agents via Self-Evolutionary Reinforcement Learning
Created by
Haebom
저자
Xinbin Yuan, Jian Zhang, Kaixin Li, Zhuoxuan Cai, Lujian Yao, Jie Chen, Enguang Wang, Qibin Hou, Jinwei Chen, Peng-Tao Jiang, Bo Li
개요
본 논문은 복잡하고 고해상도인 전문 환경에서 사용자 지시사항을 정확한 인터페이스 요소에 연결하는 GUI 에이전트의 어려움을 해결하기 위해 강화학습(RL) 기반 프레임워크를 제안합니다. 이 프레임워크는 고품질 훈련 샘플을 보장하는 시드 데이터 큐레이션, 예측 정확도에 기반한 지속적인 피드백을 제공하는 밀집 정책 경사, 그리고 어텐션 맵을 사용하여 모델을 반복적으로 개선하는 자기 진화 강화 학습 미세 조정 메커니즘의 세 가지 핵심 전략을 통합합니다. 단 3,000개의 훈련 샘플만으로 70억 개의 매개변수를 가진 모델이 세 가지 그라운딩 벤치마크에서 유사한 크기의 모델 중 최첨단 결과를 달성하였으며, 특히 ScreenSpot-Pro 데이터셋에서 47.3%의 정확도를 달성하여 UI-TARS-72B와 같은 훨씬 더 큰 모델보다 24.2% 높은 성능을 보였습니다. 이는 고해상도의 복잡한 환경에서 GUI 에이전트 성능 향상에 RL 기반 접근 방식의 효과를 강조합니다.
시사점, 한계점
•
시사점:
◦
강화학습 기반 접근 방식이 고해상도, 복잡한 환경에서 GUI 에이전트의 성능을 향상시키는 데 효과적임을 보여줌.
◦
제한된 훈련 데이터(3,000개 샘플)로도 우수한 성능을 달성, 데이터 효율성을 높임.
◦
70억 매개변수 모델이 훨씬 더 큰 모델(UI-TARS-72B)보다 더 나은 성능을 보임.
•
한계점:
◦
제안된 프레임워크의 일반화 성능에 대한 추가적인 평가가 필요함.
◦
다양한 유형의 GUI 및 사용자 지시사항에 대한 견고성을 더욱 검증할 필요가 있음.
◦
사용된 벤치마크 데이터셋의 한계 및 편향에 대한 고려가 필요함.
◦
3,000개의 훈련 샘플은 상대적으로 적은 양이지만, 시드 데이터 큐레이션 과정에 대한 구체적인 설명이 부족함.
