RetailBench: Benchmarking long horizon reasoning and coherent decision making of LLM agents in realistic retail environments

작성자

Haebom

카테고리

Empty

저자

Linghua Zhang, Jun Wang, Jingtong Wu, Zhisong Zhang

💡 개요

이 연구는 동적이고 장기적인 환경에서 LLM 에이전트의 일관된 의사결정 능력을 평가하기 위한 새로운 시뮬레이션 벤치마크인 RetailBench를 제안합니다. RetailBench는 현실적인 슈퍼마켓 운영 환경을 모델링하여 가격 책정, 재고 관리, 고객 피드백 등 복잡한 소매 관리 문제를 다룹니다. 실험 결과, 현재 LLM들은 장기적인 의사결정에서 상당한 어려움을 겪으며, 오라클 정책에 비해 성능이 뒤처지는 것으로 나타났습니다.

🔑 시사점 및 한계

•

LLM 에이전트의 현실적인 장기 의사결정 능력 평가를 위한 새로운 벤치마크를 제공합니다.

•

LLM 에이전트가 직면하는 장기 의사결정의 어려움(정보 습득 부족, 피상적인 결정, 일관된 정책 부재)을 구체적으로 보여줍니다.

•

현재 LLM 에이전트의 자율적이고 신뢰할 수 있는 경제적 의사결정 능력은 아직 초기 단계에 있음을 시사합니다.

•

제한된 평가 기간(180일)과 단일 매장 시뮬레이션은 실제 복잡성을 완전히 반영하지 못할 수 있으며, 향후 더 긴 시뮬레이션 기간과 다중 매장 환경으로의 확장이 필요합니다.

PDF 보기

Made with Slashpage