Learning Active Perception via Self-Evolving Preference Optimization for GUI Grounding
Created by
Haebom
저자
Wanfu Wang, Qipeng Huang, Guangquan Xue, Xiaobo Liang, Juntao Li
개요
본 논문은 고해상도 입력과 복잡한 다중 요소 시각적 상호작용 하에서 GUI 접지 작업의 핵심 과제인 VLMs(Vision Language Models)의 효과적인 이미지 영역 추론 문제를 해결하기 위해 LASER 프레임워크를 제안합니다. LASER은 Monte Carlo quality estimation과 IoU 기반 영역 품질 평가를 통합하여 정확성과 다양성을 모두 향상시키는 다단계 지각 능력을 VLMs에 점진적으로 부여하여 정확한 좌표 예측을 가능하게 합니다. 이를 통해 모델은 지시 사항과 관련된 주요 영역에 집중하고 작업 복잡도에 따라 추론 단계를 적응적으로 할당합니다. ScreenSpot Pro와 ScreenSpot-v2 벤치마크에 대한 실험 결과, LASER의 효과성을 검증하고 7B-scale 모델 중 최고 성능을 달성함을 보여줍니다. 특히 GTA1-7B에서 fine-tuning된 LASER은 ScreenSpot-Pro 벤치마크에서 55.7점을 기록했습니다.
시사점, 한계점
•
시사점:
◦
VLMs의 다단계 지각 능력 향상을 위한 효과적인 프레임워크(LASER) 제시
◦
Monte Carlo quality estimation과 IoU 기반 평가의 결합을 통한 정확성 및 다양성 개선
◦
고해상도 입력 및 복잡한 시각적 상호작용 하에서 GUI 접지 성능 향상
◦
7B-scale 모델에서 새로운 최고 성능 달성
•
한계점:
◦
LASER의 성능 향상이 특정 벤치마크(ScreenSpot Pro, ScreenSpot-v2)에 국한될 가능성
