RetailBench: Evaluating Long-Horizon Autonomous Decision-Making and Strategy Stability of LLM Agents in Realistic Retail Environments

작성자

Haebom

카테고리

Empty

저자

Linghua Zhang, Jun Wang, Jingtong Wu, Zhisong Zhang

💡 개요

본 논문은 단기적이고 명확한 과제에서는 뛰어난 성능을 보이는 LLM 에이전트가 역동적인 장기 환경에서 일관된 결정을 내리는 능력의 불확실성을 해소하기 위해 RetailBench라는 시뮬레이션 벤치마크를 제안합니다. RetailBench는 현실적인 소매점 운영 환경에서 LLM 에이전트의 가격 책정, 재고 보충, 공급업체 선정 등 복잡한 의사결정 능력을 평가하며, 7가지 최신 LLM을 대상으로 180일간의 시뮬레이션을 통해 기존 LLM의 한계를 명확히 보여줍니다.

🔑 시사점 및 한계

•

LLM 에이전트가 장기적인 소매점 운영과 같이 복잡하고 역동적인 환경에서 일관된 의사결정을 내리는 데에는 상당한 어려움이 있음을 실증적으로 보여줍니다.

•

현재 LLM 에이전트의 의사결정 격차는 불완전한 정보 획득, 피상적인 의사결정, 일관성 없는 장기 정책 부족에 기인함을 밝혀, 향후 연구 방향을 제시합니다.

•

RetailBench는 신뢰할 수 있는 자율 의사결정 시스템 개발을 위한 통제된 테스트 환경을 제공하여, 경제적 근거에 기반한 장기 의사결정 연구에 기여할 수 있습니다.

•

평가된 LLM들이 오라클 정책에 비해 상당한 성능 격차를 보이며, 일부 모델은 전체 평가 기간을 생존하지 못하는 한계점을 드러냅니다.

PDF 보기

Made with Slashpage