본 논문은 고객 경험 관리(CXM) 분야, 특히 컨택센터 운영에 있어 대규모 언어 모델(LLM)의 활용 가능성을 평가하기 위한 새로운 대규모 합성 벤치마크 데이터셋인 CXMArena를 제시합니다. 기존 벤치마크의 현실성 부족 및 데이터 부족 문제를 해결하기 위해, 지식베이스 통합, 실제 환경의 노이즈, 대화 능력을 넘어서는 중요한 운영 과제 등을 고려하여 설계되었습니다. LLM 기반 파이프라인을 통해 제품 사양, 이슈 분류, 컨택센터 대화 등의 CXM 엔티티를 생성하며, 도메인 전문가의 의견을 바탕으로 노이즈를 주입하고 자동 검증을 통해 실제 데이터 분포를 정확하게 반영합니다. CXMArena는 지식 베이스 개선, 의도 예측, 에이전트 품질 준수, 문서 검색, 통합 도구를 사용한 다회차 RAG 등 5가지 주요 운영 과제에 대한 벤치마크를 제공하며, 최첨단 모델조차 높은 정확도를 달성하지 못함을 보여주는 기준 실험 결과를 제시합니다.
