Zoom in, Click out: Unlocking and Evaluating the Potential of Zooming for GUI Grounding

Created by

Haebom

저자

Zhiyuan Jiang, Shenghao Xie, Wenyi Li, Wenqiang Zu, Peihang Li, Jiahao Qiu, Siqi Pei, Lei Ma, Tiejun Huang, Mengdi Wang, Shilong Liu

💡 개요

본 논문은 GUI 에이전트 구축의 핵심 기술인 GUI grounding을 위한 새로운 방법으로 줌 기능을 활용하는 'ZoomClick'을 제안합니다. ZoomClick은 줌의 4가지 주요 속성을 활용하여, 별도의 학습 없이 GUI grounding 모델의 성능을 향상시킵니다. 실험 결과, ZoomClick은 기존 GUI grounding 모델의 성능을 크게 향상시켰으며, 여러 벤치마크에서 최고 수준의 결과를 달성했습니다.

🔑 시사점 및 한계

•

줌 기능을 활용하여 별도의 학습 없이 GUI grounding 모델의 성능을 효과적으로 향상시킬 수 있음을 입증했습니다.

•

줌 기능의 중요성을 강조하고, GUI grounding 연구 분야의 새로운 가능성을 제시했습니다.

•

GUIZoom-Bench라는 새로운 벤치마크를 제시하여 향후 줌 기반 GUI grounding 연구의 발전을 위한 기반을 마련했습니다.

•

(한계점 또는 향후 과제) ZoomClick은 줌 기능을 기반으로 하며, 줌 기능을 지원하지 않는 환경에서는 적용이 어렵습니다. 향후에는 줌 기능 없이도 유사한 성능을 낼 수 있는 방법론 개발 및 다양한 환경에서의 적용 가능성을 높이는 연구가 필요합니다.

PDF 보기

Made with Slashpage