The World Won't Stay Still: Programmable Evolution for Agent Benchmarks

Created by

Haebom

저자

Guangrui Li, Yaochen Xie, Yi Liu, Ziwei Dong, Xingyuan Pan, Tianqi Zheng, Jason Choi, Michael J. Morais, Binit Jha, Shaunak Mishra, Bingrou Zhou, Chen Luo, Monica Xiao Cheng, Dawn Song

💡 개요

본 논문은 LLM 기반 에이전트가 동적인 실제 환경에 적응하는 능력을 제대로 평가하지 못하는 기존 벤치마크의 한계를 지적합니다. 이를 해결하기 위해, 논문은 환경 진화를 프로그래밍 가능하게 만드는 그래프 기반 프레임워크인 ProEvolve를 제안하며, 이를 통해 에이전트의 적응력을 효과적으로 평가할 수 있음을 보여줍니다. ProEvolve는 데이터, 도구, 스키마를 그래프로 표현하고, 그래프 변환을 통해 환경의 진화 과정을 자동 생성하고 다양한 작업 샌드박스를 인스턴스화합니다.

🔑 시사점 및 한계

•

LLM 기반 에이전트의 실제 환경 적응력 평가를 위한 동적이고 프로그래밍 가능한 벤치마크 구축의 필요성을 제시합니다.

•

그래프 변환을 통해 환경의 진화와 작업 샌드박스 생성을 통합적으로 관리하는 새로운 방법론을 제안합니다.

•

제안된 ProEvolve 프레임워크는 수많은 환경과 작업 샌드박스를 자동으로 생성하여 에이전트 벤치마킹의 효율성을 크게 향상시킬 수 있습니다.

•

현재 제안된 프레임워크의 확장성과 실제 복잡한 환경을 얼마나 잘 모사할 수 있는지에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage