본 논문은 그래픽 사용자 인터페이스(GUI)에서 자연어 명령어를 정확한 인터페이스 위치에 연결하는 GUI grounding 문제를 다룹니다. 기존 강화학습 기반 접근법은 요소들을 적중/미적중으로 처리하는 이진 보상을 사용하여 공간 상호작용의 연속적인 특성을 무시하는 희소한 신호를 생성합니다. 본 논문에서는 사람의 클릭 행동이 목표 요소를 중심으로 하는 가우시안 분포를 형성한다는 점에 착안하여, GUI 요소를 인터페이스 평면에 걸쳐 연속적인 가우시안 분포로 모델링하는 GUI Gaussian Grounding Rewards (GUI-G$^2$)라는 원칙적인 보상 프레임워크를 제안합니다. GUI-G$^2$는 요소 중심점을 중심으로 하는 지수적으로 감소하는 분포를 통해 정확한 위치 파악을 모델링하는 가우시안 점 보상과 예측된 가우시안 분포와 목표 영역 간의 겹침을 측정하여 공간 정렬을 평가하는 적용 범위 보상이라는 두 가지 상승적 메커니즘을 통합합니다. 다양한 요소 크기를 처리하기 위해 요소 차원을 기반으로 보상 분포를 보정하는 적응적 분산 메커니즘을 개발했습니다. 이 프레임워크는 GUI grounding을 희소 이진 분류에서 밀집 연속 최적화로 변환하여, 가우시안 분포가 최적 상호 작용 위치를 향해 모델을 안내하는 풍부한 그래디언트 신호를 생성합니다. ScreenSpot, ScreenSpot-v2, ScreenSpot-Pro 벤치마크에 대한 광범위한 실험을 통해 GUI-G$^2$가 최첨단 방법인 UI-TARS-72B를 상당히 능가하며, ScreenSpot-Pro에서 가장 큰 24.7%의 개선을 보임을 보여줍니다. 분석 결과, 연속 모델링은 인터페이스 변화에 대한 우수한 강건성과 보이지 않는 레이아웃에 대한 향상된 일반화를 제공하여 GUI 상호 작용 작업에서 공간 추론에 대한 새로운 패러다임을 제시합니다.
시사점, 한계점
•
시사점:
◦
GUI grounding 문제에 대한 새로운 접근 방식 제시: 연속적인 가우시안 분포를 이용한 보상 프레임워크를 통해 기존의 희소한 보상 신호 문제를 해결.
