Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Explorer: Robust Collection of Interactable GUI Elements

Created by
  • Haebom

저자

Iason Chaimalas, Arnas Vy\v{s}niauskas, Gabriel Brostow

개요

본 논문은 기존 그래픽 사용자 인터페이스(GUI) 자동화의 어려움을 해결하기 위해, 특정 애플리케이션에 특화된 데이터 수집 및 머신러닝(ML) 훈련을 통해 GUI 요소(버튼, 텍스트 입력 필드 등)를 정확하게 감지하는 시스템인 Explorer를 제안합니다. Explorer는 Android 기기나 Chrome 브라우저에서 효율적으로 데이터를 수집하며, 사용자 상호작용 세션을 기록하고 이를 통해 GUI 내 경로 계획을 가능하게 합니다. 사용자는 음성 명령을 통해 원하는 GUI 요소에 접근할 수 있습니다. 본 논문에서는 Explorer 시스템의 구현 및 성능을 소개하고, 관련 코드를 공개합니다 (https://github.com/varnelis/Explorer).

시사점, 한계점

시사점:
특정 애플리케이션에 특화된 접근 방식을 통해 GUI 자동화의 정확도 향상 가능성 제시
음성 명령을 통한 GUI 조작으로 접근성 향상
오픈소스 코드 공개를 통한 연구 확장 및 활용 용이성 증대
한계점:
iOS 기기 지원 미흡
특정 애플리케이션에 특화된 접근 방식으로 일반화된 GUI 자동화에는 한계 존재
Explorer 시스템의 성능 평가에 대한 구체적인 내용 부족
👍