Market-Bench: Benchmarking Large Language Models on Economic and Trade Competition

Created by

Haebom

저자

Yushuo Zheng (Shanghai Jiao Tong University, Shanghai Artificial Intelligence Laboratory), Huiyu Duan (Shanghai Jiao Tong University), Zicheng Zhang (Shanghai Jiao Tong University, Shanghai Artificial Intelligence Laboratory), Yucheng Zhu (Shanghai Jiao Tong University), Xiongkuo Min (Shanghai Jiao Tong University), Guangtao Zhai (Shanghai Jiao Tong University, Shanghai Artificial Intelligence Laboratory)

💡 개요

본 논문은 LLM이 경제 및 무역 경쟁 환경에서 얼마나 효과적으로 자원을 관리하고 획득하는지에 대한 불분명한 문제를 해결하기 위해 Market-Bench라는 포괄적인 벤치마크를 제안합니다. LLM을 공급망 경제 모델 내 소매업체 에이전트로 설정하여, 예산 제약 경매에서의 상품 조달 능력과 가격 설정, 마케팅 슬로건 생성, 판매 관리 등 소매 단계를 평가합니다. 벤치마크 결과, LLM 모델 간 성능 격차가 크고 소수의 모델만이 지속적인 자본 성장을 달성하는 '승자독식' 현상이 나타났으며, 이는 의미론적 유사성 점수와 실제 경제 성과 간의 불일치를 시사합니다.

🔑 시사점 및 한계

•

LLM의 실제 경제 활동 및 시장 경쟁에서의 잠재력과 한계를 체계적으로 평가할 수 있는 새로운 벤치마크를 제공합니다.

•

LLM 에이전트의 조달, 가격 책정, 마케팅 전략 수립 능력을 다양한 경제 지표로 자동 평가할 수 있는 프레임워크를 제시합니다.

•

LLM의 의미론적 이해 능력과 실제 시장에서의 경제적 의사결정 능력 간의 괴리가 존재함을 보여줍니다.

•

벤치마크에서 사용된 경제 모델의 복잡성과 현실성을 더욱 높여, 더욱 정교하고 현실적인 시장 상황을 반영하는 연구가 필요합니다.

PDF 보기

Made with Slashpage