NaturalGAIA: A Verifiable Benchmark and Hierarchical Framework for Long-Horizon GUI Tasks

Created by

Haebom

저자

Zihan Zheng, Tianle Cui, Taoran Wang, Fengtao Wang, Jiahui Pan, Lewei He, Qianglong Chen

💡 개요

LLM 기반 GUI 에이전트 분야는 현실적인 환경 구현과 검증 가능한 평가 정확도 확보라는 과제를 안고 있습니다. 이를 해결하기 위해 본 논문은 실제 인간의 GUI 상호작용 의도를 기반으로 한 검증 가능한 평가 데이터셋인 NaturalGAIA를 제안합니다. NaturalGAIA는 인지적 비선형성과 맥락 의존성을 특징으로 하는 자연스러운 인간의 의도를 엄격하게 시뮬레이션하며, LightManus-Jarvis라는 계층적 협업 프레임워크를 통해 복잡한 자연화된 작업을 처리합니다.

🔑 시사점 및 한계

•

현실적인 인간의 GUI 상호작용 의도를 반영한 검증 가능한 데이터셋 구축의 중요성을 제시합니다.

•

동적인 계획 수립과 맥락 진화를 담당하는 LightManus와 실행 정확도를 보장하는 Jarvis의 협업을 통해 복잡한 GUI 태스크 수행 능력을 크게 향상시켰습니다.

•

제안된 모델은 기존 최첨단 모델 대비 성능을 크게 뛰어넘으면서도 토큰 소비와 실행 시간을 획기적으로 줄여 효율성을 입증했습니다.

•

향후 연구에서는 보다 광범위한 GUI 작업 유형과 복잡성을 포괄하고, 실제 사용자 환경에서의 적용 가능성을 더욱 심도 있게 탐구할 필요가 있습니다.

PDF 보기

Made with Slashpage