Explorer: Robust Collection of Interactable GUI Elements
Created by
Haebom
저자
Iason Chaimalas, Arnas Vy\v{s}niauskas, Gabriel Brostow
개요
본 논문은 기존 그래픽 사용자 인터페이스(GUI) 자동화의 어려움을 해결하기 위해, 특정 애플리케이션에 특화된 데이터 수집 및 머신러닝(ML) 훈련을 통해 GUI 요소(버튼, 텍스트 입력 필드 등)를 정확하게 감지하는 시스템인 Explorer를 제안합니다. Explorer는 Android 기기나 Chrome 브라우저에서 효율적으로 데이터를 수집하며, 사용자 상호작용 세션을 기록하고 이를 통해 GUI 내 경로 계획을 가능하게 합니다. 사용자는 음성 명령을 통해 원하는 GUI 요소에 접근할 수 있습니다. 본 논문에서는 Explorer 시스템의 구현 및 성능을 소개하고, 관련 코드를 공개합니다 (https://github.com/varnelis/Explorer).