AgentCE-Bench: Agent Configurable Evaluation with Scalable Horizons and Controllable Difficulty under Lightweight Environments

Created by

Haebom

저자

Wang Yang, Chaoda Song, Xinpeng Li, Debargha Ganguly, Chuang Ma, Shouren Wang, Zhihao Dou, Yuli Zhou, Vipin Chaudhary, Xiaotian Han

💡 개요

기존 Agent 벤치마크의 높은 환경 상호작용 오버헤드와 불균형한 작업 난이도 문제를 해결하기 위해, AgentCE-Bench는 숨겨진 슬롯을 채우는 통합 그리드 기반 계획 과제를 제안합니다. 이 벤치마크는 숨겨진 슬롯 수($H$)로 작업의 범위를 확장하고, 오해의 소지가 있는 후보 수를 제어하는 예산($B$)으로 난이도를 조절할 수 있는 두 가지 독립적인 축을 제공합니다. 경량 환경 설계를 통해 환경 설정 오버헤드를 제거하고 빠르고 재현 가능한 평가를 가능하게 합니다.

🔑 시사점 및 한계

•

AgentCE-Bench는 작업 범위와 난이도를 신뢰성 있게 제어할 수 있으며, 모델의 차별성을 효과적으로 보여줍니다.

•

13개 모델에 대한 광범위한 실험을 통해 모델 간 성능 차이를 명확히 파악하고, Agent 추론에 대한 해석 가능하고 제어 가능한 평가를 제공합니다.

•

다양한 크기와 계열의 모델들을 대상으로 6개 도메인에서 실험을 진행하여 AgentCE-Bench의 유용성을 입증했습니다.

PDF 보기

Made with Slashpage