GUI 에이전트는 인간-기기 상호작용의 경험과 효율성을 향상시킬 수 있는 중요한 잠재력을 가지고 있지만, 기존 데이터셋의 두 가지 근본적인 한계로 인해 응용 프로그램(앱)과 작업 전반에 걸쳐 일반화하는 데 어려움을 겪고 있습니다. 첫째, 기존 데이터셋은 개발자가 유발한 앱 간의 구조적 변화를 간과하여 다양한 소프트웨어 환경에서의 지식 전이를 제한합니다. 둘째, 많은 데이터셋이 탐색 작업에만 집중하여 포괄적인 소프트웨어 아키텍처와 복잡한 사용자 상호작용을 표현하는 능력을 제한합니다. 본 논문에서는 이러한 과제를 해결하기 위해 탐색 및 추론 프레임워크를 통해 애플리케이션 간 및 작업 간 일반화를 향상시키도록 세심하게 설계된 데이터셋인 GUI-Xplore를 소개합니다. GUI-Xplore는 문맥적 통찰력을 제공하는 미리 녹화된 탐색 비디오와 GUI 에이전트 기능을 종합적으로 평가하도록 설계된 5가지 계층적으로 구조화된 다운스트림 작업을 통합합니다. GUI-Xplore의 고유한 기능을 완벽하게 활용하기 위해, 본 논문에서는 Action-aware GUI Modeling과 Graph-Guided Environment Reasoning을 결합한 GUI 에이전트 프레임워크인 Xplore-Agent를 제안합니다. 추가 실험 결과, Xplore-Agent는 익숙하지 않은 환경에서 기존 방법보다 10% 향상된 성능을 달성했지만, 진정으로 일반화 가능한 GUI 에이전트를 향한 추가 개선의 여지가 상당히 남아 있습니다.
