대화형 대규모 언어 모델(LLM) 기반의 대화형 쇼핑 에이전트(CSA)가 온라인 쇼핑 경험을 개선하기 위해 개발되었지만, LLM의 환각(hallucination) 및 근거 부족으로 인한 정보 부정확성과 정보 출처 제공 부재로 인한 신뢰도 저하 문제가 존재합니다. 본 논문은 고객에게 '인용 경험'을 제공하는 솔루션을 제시하여 이러한 문제를 해결합니다. LLM의 근거 및 출처 제공 능력을 평가하는 자동 평가 지표를 구축하여 인용 생성 패러다임이 근거 성능을 13.83% 향상시킨다는 것을 보여주고, 기존 사용자 경험 기능을 유지하면서 확장 가능한 추론을 지원하는 Multi-UX-Inference 시스템을 도입하여 LLM 출력에 출처 인용을 추가합니다. 대규모 온라인 A/B 테스트 결과, 근거 기반 CSA 응답이 UX 변형에 따라 고객 참여도를 3%~10% 향상시키는 것으로 나타났습니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 CSA의 정확성 및 신뢰도 향상을 위한 효과적인 솔루션 제시 (인용 기능 추가)
