Alleviating LLM-based Generative Retrieval Hallucination in Alipay Search
Created by
Haebom
Category
Empty
저자
Yedan Shen, Kaixin Wu, Yuechen Ding, Jingyuan Wen, Hong Liu, Mingjie Zhong, Zhouhan Lin, Jia Xu, Linjian Mo
개요
본 논문은 대규모 언어 모델(LLM) 기반 생성형 검색(GR)의 환각 문제를 해결하기 위한 최적화된 GR 프레임워크를 제안한다. 이 프레임워크는 모델 학습 과정에 지식 증류 추론을 통합하고, 검색 정확도를 향상시키기 위해 의사결정 에이전트를 활용한다. LLM을 이용하여 검색된 질의-문서 쌍을 평가하고 추론 데이터를 GR 모델에 지식으로 전달하며, 의사결정 에이전트는 후처리 과정에서 검색 결과를 확장하고 다양한 관점에서 가장 관련성이 높은 문서를 선택한다. Alipay의 Fund Search와 Insurance Search에 대한 실제 데이터셋과 A/B 테스트 결과를 통해 제안된 프레임워크의 우수성과 효과를 검증하였다.
