본 논문은 알려지지 않은 환경에서 행동하고, 학습하며, 전략을 세우는 대규모 언어 모델(LLM) 에이전트를 위한 벤치마크를 개발합니다. LLM 에이전트는 의도적인 탐색을 통해 시간이 지남에 따라 환경의 사양을 학습해야 합니다. 벤치마크는 경제학의 핵심 문제에서 파생된 의사결정 과제로 구성되며, 난이도 수준을 확장하여 포화를 방지하기 위해 합성적으로 생성됩니다. 또한, LLM 및 LLM 에이전트에 대한 새로운 종류의 정량적 척도인 리트머스 테스트를 제안합니다. 벤치마크와 달리 리트머스 테스트는 (예: 효율성 대 평등) 객관적으로 옳고 그른 행동이 없는 절충에 직면했을 때의 행동을 고려하여 LLM 및 LLM 에이전트의 특성, 가치 및 경향의 차이를 정량화합니다. 전반적으로, 본 논문의 벤치마크와 리트머스 테스트는 조달, 일정 관리, 작업 할당 및 가격 책정을 포함한 다양한 설정에서 복잡한 경제 문제를 해결하는 LLM 에이전트의 능력과 경향을 평가합니다. 이러한 에이전트가 경제에 더욱 통합됨에 따라 이러한 애플리케이션의 중요성이 커질 것입니다.
