Identifying User Goals from UI Trajectories
Created by
- Haebom
Category
Empty
저자
Omri Berkovitch, Sapir Caduri, Noam Kahlon, Anatoly Efros, Avi Caciularu, Ido Dagan
개요
본 논문은 사용자 인터페이스(UI) 트래젝토리를 관찰하여 사용자의 세부적인 의도를 추론하는 새로운 작업 목표 식별 과제를 제안합니다. 이를 위해 UI 환경 내에서 두 의도 설명이 같은 의미로 간주될 수 있는지 평가하는 새로운 평가 방법론을 제시합니다. Android 및 웹 데이터셋을 사용하여 실험을 진행하며, GPT-4와 Gemini-1.5 Pro와 같은 최첨단 모델과 인간의 성능을 비교합니다. 실험 결과, Gemini와 GPT 모두 인간의 성능보다 낮은 성능을 보여주었으며, 제안된 과제의 어려움과 향상의 여지가 큼을 보여줍니다. 본 연구는 UI 트래젝토리 내에서의 목표 식별의 중요성을 강조하며, 이 분야의 추가 탐구 및 발전을 위한 기반을 제공합니다.
시사점, 한계점
•
시사점: UI 트래젝토리 분석을 통한 사용자 의도 추론의 중요성을 강조하고, 새로운 평가 방법론과 벤치마크를 제시함으로써 향후 연구의 기반을 마련했습니다. 인간과 AI 모델의 성능 비교를 통해 향후 연구 방향을 제시했습니다.
•
한계점: 최첨단 모델인 GPT-4와 Gemini-1.5 Pro조차 인간의 성능에 미치지 못하여, 제안된 과제의 어려움을 시사합니다. 더욱 정교한 모델과 데이터셋이 필요함을 보여줍니다. 사용된 데이터셋의 한계 (Android 및 웹 데이터셋에 국한)로 인해 일반화 가능성에 대한 추가 연구가 필요합니다.
