Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

ZeroGUI: Automating Online GUI Learning at Zero Human Cost

Created by
  • Haebom

저자

Chenyu Yang, Shiqian Su, Shi Liu, Xuan Dong, Yue Yu, Weijie Su, Xuehui Wang, Zhaoyang Liu, Jinguo Zhu, Hao Li, Wenhai Wang, Yu Qiao, Xizhou Zhu, Jifeng Dai

개요

본 논문은 대규모 비전-언어 모델(VLMs) 기반의 GUI 에이전트 학습을 자동화하는 새로운 온라인 학습 프레임워크인 ZeroGUI를 제안합니다. 기존의 오프라인 학습 방식은 고품질 수동 주석에 대한 의존도가 높고 동적인 환경에 대한 적응력이 낮다는 한계점을 가지는데, ZeroGUI는 VLM을 활용하여 자동으로 작업 생성 및 보상 추정을 수행하고, 2단계 온라인 강화 학습을 통해 GUI 환경과 상호 작용하며 지속적으로 학습합니다. UI-TARS와 Aguvis라는 두 가지 고급 GUI 에이전트에 대한 실험 결과, ZeroGUI가 OSWorld와 AndroidLab 환경에서 성능을 크게 향상시키는 것을 보여줍니다. 소스 코드는 깃허브에서 공개됩니다.

시사점, 한계점

시사점:
수동 주석에 대한 의존성을 줄여 GUI 에이전트 학습의 효율성을 크게 높였습니다.
동적이고 상호작용적인 환경에 대한 적응력을 향상시켰습니다.
온라인 학습을 통해 지속적인 성능 개선이 가능합니다.
다양한 GUI 환경에서의 적용 가능성을 보여주었습니다.
한계점:
VLM의 성능에 의존적일 수 있습니다. VLM의 성능 저하가 ZeroGUI의 성능에 직접적인 영향을 미칠 수 있습니다.
복잡한 GUI 환경이나 예측 불가능한 상호 작용에 대한 로버스트니스는 추가적인 연구가 필요할 수 있습니다.
온라인 학습 과정에서 발생할 수 있는 안정성 문제에 대한 추가적인 연구가 필요할 수 있습니다.
👍