본 논문은 다양한 GUI 환경(웹사이트, 데스크탑, 모바일)에서 자연어로 기술된 작업을 수행하는 자율 에이전트 개발에 사용되는 다중 모달 언어 모델(MLM)을 위한 새로운 벤치마크 프레임워크인 Crab을 제시한다. 기존 벤치마크의 한계인 단일 환경 중심, 세부적이고 일반화된 평가 방법 부족, 작업 및 평가자 구성의 복잡성을 극복하기 위해, Crab은 다양한 환경을 지원하는 크로스 환경 작업, 그래프 기반의 세분화된 평가 방법, 효율적인 작업 및 평가자 구성 메커니즘을 통합하였다. Python 인터페이스를 통해 다양한 환경으로 확장 가능하며, 데스크탑과 모바일 환경에서 120개의 작업으로 구성된 Crab Benchmark-v0을 개발하여 네 가지 고급 MLM을 단일 및 다중 에이전트 시스템 구성으로 평가하였다. 그 결과, GPT-4o를 사용한 단일 에이전트가 38.01%의 최고 완료율을 달성하였다. 모든 프레임워크 코드, 에이전트 코드 및 작업 데이터셋은 공개적으로 제공된다.
시사점, 한계점
•
시사점:
◦
다양한 GUI 환경을 지원하는 크로스 환경 에이전트 평가 프레임워크 제공
◦
그래프 기반의 세분화된 평가 방법을 통한 정확하고 상세한 평가 가능
◦
효율적인 작업 및 평가자 생성 메커니즘으로 벤치마크 확장 용이
◦
다양한 MLM 에이전트의 성능 비교 및 분석을 위한 기준 마련
◦
공개된 코드와 데이터셋을 통한 연구의 재현성 및 확장성 증대
•
한계점:
◦
현재 벤치마크는 120개의 작업으로 구성되어 있으며, 더 많은 작업 및 다양한 환경 추가 필요
◦
평가 지표의 한계: 완료율만을 사용하여 평가, 다른 지표 (효율성, 정확성 등) 고려 필요
