Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Look Before You Leap: A GUI-Critic-R1 Model for Pre-Operative Error Diagnosis in GUI Automation

Created by
  • Haebom
Category
Empty

저자

Yuyang Wanyan, Xi Zhang, Haiyang Xu, Haowei Liu, Junyang Wang, Jiabo Ye, Yutong Kou, Ming Yan, Fei Huang, Xiaoshan Yang, Weiming Dong, Changsheng Xu

GUI-Critic-R1: GUI 자동화를 위한 사전 연산 비평 메커니즘

개요

본 논문은 GUI 자동화 작업을 위한 사전 연산 비평 메커니즘을 소개한다. 특히, 온라인 상호 작용 환경에서 실시간 환경 상태에 따라 단계별 의사 결정을 해야 하는 GUI 자동화의 특성을 고려하여, 실행 전에 잠재적인 결과와 동작의 정확성에 대해 추론하는 사전 연산 비평 메커니즘을 제안한다. 이를 위해, 제안된 모델인 GUI-Critic-R1은 Suggestion-aware Gradient Relative Policy Optimization (S-GRPO) 전략을 사용하여 제안 보상을 통합하여 모델 피드백의 신뢰성을 향상시킨다. 또한, GUI 비평 데이터의 격차를 메우기 위해 추론-부트스트래핑 기반 데이터 수집 파이프라인을 개발하여 GUI-Critic-Train 및 GUI-Critic-Test를 생성한다.

시사점, 한계점

시사점:
GUI 자동화에서 오류 허용 오차가 낮은 문제를 해결하기 위해 사전 연산 비평 메커니즘을 제안함.
S-GRPO 전략과 제안 보상을 통해 모델의 신뢰성을 향상시킴.
GUI 비평 데이터 부족 문제를 해결하기 위해 데이터 수집 파이프라인을 개발.
모바일 및 웹 도메인에서 현재 MLLMs보다 높은 비평 정확도를 달성.
GUI 자동화 벤치마크에서 성공률 및 운영 효율성 향상을 보임.
한계점:
논문에서 구체적인 한계점 언급은 없음.
👍