ZeroGUI: Automating Online GUI Learning at Zero Human Cost
Created by
Haebom
저자
Chenyu Yang, Shiqian Su, Shi Liu, Xuan Dong, Yue Yu, Weijie Su, Xuehui Wang, Zhaoyang Liu, Jinguo Zhu, Hao Li, Wenhai Wang, Yu Qiao, Xizhou Zhu, Jifeng Dai
개요
본 논문은 대규모 비전-언어 모델(VLMs) 기반의 GUI 에이전트 학습을 자동화하는 새로운 온라인 학습 프레임워크인 ZeroGUI를 제안합니다. 기존의 오프라인 학습 방식은 고품질 수동 주석에 대한 의존도가 높고 동적인 환경에 대한 적응력이 낮다는 한계점을 가지는데, ZeroGUI는 VLM을 활용하여 자동으로 작업 생성 및 보상 추정을 수행하고, 2단계 온라인 강화 학습을 통해 GUI 환경과 상호 작용하며 지속적으로 학습합니다. UI-TARS와 Aguvis라는 두 가지 고급 GUI 에이전트에 대한 실험 결과, ZeroGUI가 OSWorld와 AndroidLab 환경에서 성능을 크게 향상시키는 것을 보여줍니다. 소스 코드는 깃허브에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
수동 주석에 대한 의존성을 줄여 GUI 에이전트 학습의 효율성을 크게 높였습니다.
◦
동적이고 상호작용적인 환경에 대한 적응력을 향상시켰습니다.
◦
온라인 학습을 통해 지속적인 성능 개선이 가능합니다.
◦
다양한 GUI 환경에서의 적용 가능성을 보여주었습니다.
•
한계점:
◦
VLM의 성능에 의존적일 수 있습니다. VLM의 성능 저하가 ZeroGUI의 성능에 직접적인 영향을 미칠 수 있습니다.
◦
복잡한 GUI 환경이나 예측 불가능한 상호 작용에 대한 로버스트니스는 추가적인 연구가 필요할 수 있습니다.
◦
온라인 학습 과정에서 발생할 수 있는 안정성 문제에 대한 추가적인 연구가 필요할 수 있습니다.
