자율 에이전트가 자연어를 매개체로 GUI와의 상호작용을 변화시키고 있지만, 기존의 SFT(Supervised Fine-Tuning) 기반 GUI 에이전트는 위치 데이터 인식의 정확도가 낮다는 한계를 지닌다. 본 논문에서는 위치 데이터를 활용하여 상호작용 선호도를 최적화하는 새로운 방법인 LPO(Location Preference Optimization)를 제시한다. LPO는 정보 엔트로피를 이용하여 정보가 풍부한 영역에 집중하여 상호작용 위치를 예측하고, 물리적 거리에 기반한 동적 위치 보상 함수를 도입하여 상호작용 위치의 중요도를 반영한다. GRPO(Group Relative Preference Optimization)와 결합하여 GUI 환경 탐색을 확장하고 상호작용 정확도를 크게 향상시킨다. 실험 결과, LPO는 오프라인 벤치마크와 실제 온라인 평가 모두에서 최첨단 성능을 달성하였다.
시사점, 한계점
•
시사점:
◦
위치 데이터를 효과적으로 활용하여 GUI 에이전트의 상호작용 정확도를 향상시키는 새로운 방법(LPO)을 제시.
