Alleviating LLM-based Generative Retrieval Hallucination in Alipay Search
Created by
Haebom
저자
Yedan Shen, Kaixin Wu, Yuechen Ding, Jingyuan Wen, Hong Liu, Mingjie Zhong, Zhouhan Lin, Jia Xu, Linjian Mo
개요
대규모 언어 모델(LLM) 기반 생성형 검색(GR)은 문서 검색에 혁신을 가져왔지만, 환각 현상과 질의와 무관한 문서 생성으로 인해 실제 적용에 어려움을 겪고 있습니다. 본 논문에서는 모델 학습 시 지식 증류 추론을 통합하고 의사결정 에이전트를 활용하여 검색 환각을 완화하는 최적화된 GR 프레임워크를 제안합니다. LLM을 사용하여 검색된 질의-문서 쌍을 평가하고 추론 데이터를 GR 모델에 전달하는 지식으로 증류하며, 의사결정 에이전트를 통해 검색된 문서를 확장하고 다양한 관점에서 가장 관련성이 높은 문서를 최종 결과로 선택합니다. 실제 데이터셋을 이용한 오프라인 실험과 알리페이의 펀드 검색 및 보험 검색에 대한 온라인 A/B 테스트를 통해 제안된 프레임워크의 우수성과 효과를 검증했습니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 GR의 환각 문제를 효과적으로 완화하는 새로운 프레임워크 제시
◦
지식 증류 추론과 의사결정 에이전트를 통한 검색 정확도 향상
◦
실제 서비스(알리페이 펀드 및 보험 검색) 적용을 통한 성능 검증 및 실효성 입증
◦
검색 품질과 전환율 향상에 기여
•
한계점:
◦
제안된 프레임워크의 일반화 성능에 대한 추가적인 연구 필요
◦
특정 도메인(알리페이 펀드 및 보험 검색)에 국한된 실험 결과, 다른 도메인으로의 확장성 검토 필요
