대규모 언어 모델(LLM) 기반 코드 생성의 급속한 발전에 따라, 기존 벤치마크의 한계를 지적하고, 계획, 최적화, 전략적 상호작용을 필요로 하는 현실 세계 문제에 대한 LLM의 능력을 평가하는 새로운 벤치마크를 제시합니다. 실제 물류 최적화 문제(경매, 픽업, 배송 문제)를 기반으로 하는 다중 에이전트 추론 기반 벤치마크를 통해 40개의 LLM 기반 에이전트와 17개의 인간 코딩 에이전트 간의 경쟁을 평가합니다. 실험 결과, 인간 코딩 에이전트가 월등한 성능을 보였으며, LLM이 제공된 최적의 솔루션을 개선하는 데 실패하는 등, LLM이 현실 세계에서 경쟁력 있는 코드를 생성하는 데 어려움을 겪고 있음을 확인했습니다.
