Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

TaskSense: Cognitive Chain Modeling and Difficulty Estimation for GUI Tasks

Created by
  • Haebom
Category
Empty

저자

Yiwen Yin, Zhian Hu, Xiaoxi Xu, Chun Yu, Xintong Wu, Wenyu Fan, Yuanchun Shi

개요

GUI 작업 난이도 측정은 사용자 행동 분석 및 에이전트 능력 평가에 중요합니다. 기존 벤치마크는 주로 운동 동작(예: 단계 수)을 기반으로 난이도를 정량화하여 작업 완료에 필요한 인지적 요구 사항을 간과합니다. 본 연구에서는 인지적 관점에서 작업 난이도를 모델링하는 새로운 프레임워크인 Cognitive Chain을 제안합니다. Cognitive Chain은 운동 동작에 선행하는 인지 과정을 정보 이론에 기반한 난이도 지수를 가진 일련의 인지 단계(예: 찾기, 결정하기, 계산하기)로 분해합니다. 작업 실행 추적에서 인지 체인을 자동으로 추출하기 위한 LLM 기반 방법을 개발했습니다. 선형 회귀를 통한 검증 결과, 추정된 인지 난이도는 사용자 완료 시간과 상관관계가 높았습니다(단계별 R-제곱 = 0.46, 주석 처리 후). 최첨단 GUI 에이전트 평가 결과, 인지적으로 어려운 작업에서 성공률이 감소하여 능력 격차와 Human-AI 일관성 패턴이 드러났습니다. 에이전트 훈련, 능력 평가 및 인간-에이전트 위임 최적화에 대한 잠재적 적용 방안에 대해 논의합니다.

시사점, 한계점

인지적 관점에서 GUI 작업 난이도를 모델링하는 새로운 프레임워크 Cognitive Chain 제안
LLM 기반 자동 인지 체인 추출 방법 개발
추정된 인지 난이도가 사용자 완료 시간과 상관관계가 높음
최첨단 GUI 에이전트의 인지적 작업 수행 능력 격차 확인
에이전트 훈련, 능력 평가, 위임 최적화 등 잠재적 응용 분야 제시
(한계점은 논문에 명시되지 않음)
👍