본 논문은 GUI 조작을 자동화하는 AI 에이전트 개발의 어려움을 해결하기 위해, 확장된 명령어 집합으로 에이전트를 훈련하는 방법을 제시합니다. 기존의 행동 복제 방식이 고품질 데이터를 대량으로 필요로 하는 문제를 해결하고자, STEVE라는 단계별 검증 파이프라인을 설계했습니다. STEVE는 대규모 명령어 집합과 부족한 성능의 에이전트로 수집한 궤적 데이터를 활용하여 GPT-4를 통해 각 단계의 정확성을 검증하고 이진 레이블을 부여합니다. 마지막으로 Kahneman and Tversky Optimization을 사용하여 이진 단계별 레이블을 바탕으로 에이전트를 최적화합니다. 실험 결과, STEVE는 궤적 내의 긍정적 및 부정적 행동을 모두 활용하여 지도 학습 미세 조정 방식보다 우수한 성능을 보이며, 7B 비전-언어 모델을 컴퓨터 사용 에이전트로 훈련하여 WinAgentArena 환경에서 최고 성능을 달성했습니다.
