대화형 거대 언어 모델(LLM) 기반의 대화형 쇼핑 에이전트(CSA)는 전자상거래 분야에서 고객의 질문에 답하고 쇼핑 과정을 원활하게 하도록 개발되었습니다. 신뢰할 수 있는 CSA를 구축하는 주요 목표는 에이전트의 응답이 정확하고 사실에 근거하도록 하는 것이며, 이는 고객의 신뢰를 구축하고 지속적인 참여를 장려하는 데 필수적입니다. 그러나 LLM은 환각이나 근거 없는 주장을 생성하는 두 가지 과제가 남아 있습니다. 이러한 부정확성은 잘못된 정보를 확산시키고 고객의 신뢰를 저하시킬 위험이 있습니다. 또한 CSA 응답에 지식 출처를 제공하지 않으면 고객은 LLM이 생성한 정보를 확인하는 데 어려움을 겪습니다. 이러한 과제를 해결하기 위해 본 논문에서는 컨텍스트 내 학습(ICL)과 다중 UX 추론(MUI)을 활용하여 기존 UX 기능을 방해하지 않고 출처를 나타내는 인용을 생성하는 "인용 경험"을 가능하게 하는 쉽게 프로덕션화할 수 있는 솔루션을 제시합니다. 적절한 UX 디자인을 통해 이러한 인용 표시는 관련 제품 정보에 연결되어 고객에게 출처를 표시할 수 있습니다. 본 연구에서는 LLM의 근거 및 귀속 기능을 전체적으로 평가하기 위한 자동 메트릭스와 확장 가능한 벤치마크도 구축합니다. 실험 결과에 따르면 이 인용 생성 패러다임을 통합하면 실제 데이터에서 LLM 응답의 근거를 13.83% 향상시킬 수 있습니다. 따라서 본 논문의 솔루션은 LLM 근거 문제의 즉각적인 과제를 해결할 뿐만 아니라 대화형 AI에 대한 투명성을 더합니다.
