본 논문은 고객 경험 관리(CXM) 분야, 특히 컨택센터 운영에 있어 대규모 언어 모델(LLM)의 실용성 평가를 위한 새로운 대규모 합성 벤치마크 데이터셋인 CXMArena를 제시합니다. 기존 벤치마크의 현실성 부족과 데이터 부족 문제를 해결하기 위해, 지식베이스 통합, 실제 환경의 노이즈, 대화 능력을 넘어서는 중요한 운영 과제 등을 포함하는 LLM 기반의 확장 가능한 파이프라인을 개발하여 지식베이스 개선, 의도 예측, 상담원 품질 준수, 문서 검색, 통합 도구를 사용한 다회차 RAG 등 5가지 중요한 운영 과제를 위한 벤치마크를 제공합니다. 실험 결과, 최첨단 임베딩 및 생성 모델조차도 문서 검색에서 68%의 정확도에 그치고, 지식베이스 개선에서는 낮은 F1 점수(0.3)를 보이는 등 기존 모델의 한계를 드러냈습니다.
