REAL: Benchmarking Autonomous Agents on Deterministic Simulations of Real Websites
Author
- Haebom
Category
Empty
저자
Divyansh Garg, Shaun VanWeelden, Diego Caples, Andis Draguns, Nikil Ravi, Pranav Putta, Naman Garg, Tomas Abraham, Michael Lara, Federico Lopez, James Liu, Atharva Gundawar, Prannay Hebbar, Youngchul Joo, Charles London, Christian Schroeder de Witt, Sumeet Motwani
개요
REAL은 실제 웹사이트의 결정적 시뮬레이션을 기반으로 다회차 에이전트 평가를 위한 벤치마크 및 프레임워크입니다. 전자상거래, 여행, 통신, 전문 네트워킹 등 다양한 분야의 널리 사용되는 11개 웹사이트의 고충실도 결정적 복제본으로 구성됩니다. 또한 정확한 정보 검색과 상태 변경 작업 모두를 필요로 하는 일상적인 복잡한 사용자 상호 작용을 반영하는 112개의 실용적인 작업으로 구성된 벤치마크를 공개합니다. 모든 상호 작용은 완전히 제어된 환경에서 발생하므로 안전 위험을 제거하고 에이전트의 기능과 신뢰성을 강력하고 재현 가능하게 평가할 수 있습니다. 새로운 평가 프레임워크는 작업 기반 작업에 대한 웹사이트 상태의 프로그래매틱 검사와 정보 검색을 위한 루브릭 기반 LLM 기반 판단을 결합합니다. 이 프레임워크는 브라우저 환경 내에서 블랙박스 명령을 수용하는 유연한 평가 하네스를 통해 오픈소스 및 독점 에이전트 시스템을 모두 지원하여 연구소에서 에이전트 시스템을 수정 없이 테스트할 수 있도록 합니다. 실험 결과에 따르면 최첨단 언어 모델은 REAL에서 최대 41%의 성공률을 달성하여 자율적 웹 탐색 및 작업 완료 기능에 대한 중요한 격차를 보여줍니다. 이 프레임워크는 새로운 작업의 쉬운 통합, 재현 가능한 평가 및 웹 에이전트 교육을 위한 확장 가능한 데이터 생성을 지원합니다. 웹사이트, 프레임워크 및 리더보드는 https://realevals.xyz 및 https://github.com/agi-inc/REAL에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
실제 웹사이트의 결정적 시뮬레이션을 사용하여 안전하고 재현 가능한 다회차 에이전트 평가를 가능하게 함.
◦
실제 사용자 상호작용을 반영하는 112개의 실용적인 작업으로 구성된 벤치마크 제공.
◦
오픈소스 및 독점 에이전트 시스템 모두에 대한 유연한 평가 하네스 지원.
◦
최첨단 언어 모델의 웹 탐색 및 작업 완료 기능의 한계를 명확하게 제시.
◦
새로운 작업의 쉬운 통합, 재현 가능한 평가 및 확장 가능한 데이터 생성 지원.
•
한계점:
◦
현재 11개 웹사이트만 포함되어 웹의 다양성을 완벽하게 반영하지 못할 수 있음.
◦
LLM 기반 판단에 의존하는 부분이 있어 주관적인 평가가 포함될 가능성 존재.
◦
시뮬레이션 환경이 실제 웹 환경과 완벽하게 일치하지 않을 수 있음.
◦
41%의 성공률은 최첨단 모델의 성능을 나타내지만, 향후 모델 개선으로 성능이 향상될 가능성 존재.
