본 논문은 대화형 대규모 언어 모델(LLM) 기반의 대화형 쇼핑 에이전트(CSA)에서 발생하는 환각 또는 근거 없는 주장과 출처 표기 부재 문제를 해결하기 위한 방법을 제시한다. 이는 인맥스 컨텍스트 러닝(ICL)과 멀티-UX-인퍼런스(MUI)를 활용하여 출처를 표기하는 "인용 경험"을 제공하는 솔루션을 제안하고, 실제 데이터를 기반으로 LLM의 근거 및 출처 표기 기능을 평가하는 자동 측정 및 확장 가능한 벤치마크를 구축한다. 실험 결과, 제안된 솔루션은 LLM 응답의 근거를 13.83% 향상시키는 것으로 나타났다. 이는 LLM의 근거 문제를 해결하고 대화형 AI의 투명성을 높이는 데 기여한다.
시사점, 한계점
•
시사점:
◦
LLM 기반 CSA의 신뢰성 향상을 위한 실용적인 솔루션 제시
◦
ICL과 MUI를 활용한 출처 표기 기능 구현을 통한 정보의 투명성 증대
◦
LLM의 근거 및 출처 표기 기능 평가를 위한 자동 측정 및 확장 가능한 벤치마크 개발
◦
실험을 통해 제안된 솔루션의 효과성 검증 (근거 향상 13.83%)
•
한계점:
◦
제안된 솔루션의 특정 e-commerce 환경에 대한 의존성 및 일반화 가능성에 대한 추가 연구 필요
