OmegaUse-SOP: SOP Engineering for Professional Computer Use from Human Demonstrations
작성자
카테고리
Empty
저자
Yixiong Xiao, Lang An, Hucheng Yang, Pinxue Ma, Yongquan Chen, Jingjia Cao, Yusai Zhao, Ting Wang, Ting Liu, Siqi Bao, Jingbo Zhou, Hua Wu
💡 개요
본 논문은 전문가의 컴퓨터 사용 시연을 재사용 가능한 표준 운영 절차(SOP) 스킬로 변환하는 인간 참여형 SOP 엔지니어링 시스템인 OmegaUse-SOP을 제안합니다. LLM 기반 GUI 에이전트가 전문적인 컴퓨터 사용 작업을 수행할 때 발생하는 암묵적 지식, 소프트웨어별 관례, 작업 수준 검증 요구사항 등의 어려움을 해결하는 것을 목표로 합니다. OmegaUse-SOP은 인간의 시연을 GUI 에이전트가 실행할 수 있는 SOP 스킬로 반복적으로 개선함으로써 전문 소프트웨어 환경에서 GUI 에이전트의 신뢰성을 향상시킬 수 있음을 보여줍니다.
🔑 시사점 및 한계
•
전문 분야의 복잡한 SOP를 GUI 에이전트가 이해하고 실행할 수 있는 형태로 자동화하는 실질적인 방법을 제시합니다.
•
인간 전문가의 시연을 기반으로 하므로, 기존의 일반적인 GUI 에이전트보다 전문적이고 신뢰성 있는 작업 수행이 가능합니다.
•
SOP 엔지니어링 과정에서 도메인 지식 및 소프트웨어별 규칙을 통합하는 새로운 접근 방식을 제시합니다.
•
시스템의 일반화 능력 및 다양한 전문 소프트웨어 환경으로의 확장성에 대한 추가 연구가 필요합니다.