DRS-GUI: Dynamic Region Search for Training-Free GUI Grounding

작성자

Haebom

카테고리

비어 있음

저자

Yichao Liu, Huawen Shen, Liu Yu, Shiyu Liu, Zeyu Chen, Yu Zhou

💡 개요

본 논문은 고해상도 GUI 스크린샷에서 사용자의 지시와 관련된 영역을 정확하게 식별하는 어려움을 해결하기 위해 훈련 없이 사용할 수 있는 동적 영역 탐색 프레임워크인 DRS-GUI를 제안합니다. DRS-GUI는 인간의 인지 과정을 모방하여 'Focus', 'Shift', 'Scatter'와 같은 세 가지 지각 동작을 수행하는 경량 UI Perceptor와, 이러한 동작을 동적으로 스케줄링하는 MCTS 기반 Action Planner를 도입합니다. 이를 통해 불필요한 UI 요소를 효과적으로 제거하고 지시와 가장 관련성이 높은 영역을 효율적으로 찾아내어 GUI 접지 성능을 크게 향상시킵니다.

🔑 시사점 및 한계

•

기존 MLLM에 쉽게 통합 가능하여 별도의 훈련 없이 GUI 접지 성능을 14% 향상시키는 훈련 없는(training-free) 동적 탐색 프레임워크를 제시합니다.

•

인간의 시각적 탐색 방식을 모방한 지각 동작과 MCTS 기반 액션 플래너를 통해 복잡한 GUI 환경에서 관련 영역을 효율적으로 찾아내는 새로운 접근 방식을 제시합니다.

•

제안된 방법론은 일반적인 MLLM과 GUI 특화 MLLM 모두에 효과적이며, 전반적인 접지 성능과 일반화 능력을 향상시킵니다.

•

본 연구는 복잡한 UI에서 발생하는 노이즈와 관련 없는 요소를 효과적으로 처리하는 데 중점을 두었으나, 다양한 종류의 GUI 요소나 복잡한 상호작용에 대한 심층적인 탐색 능력은 향후 연구 과제로 남습니다.

PDF 보기

Slashpage로 제작됨