Mitigating Hallucination in Financial Retrieval-Augmented Generation via Fine-Grained Knowledge Verification

Created by

Haebom

저자

Taoye Yin, Haoyuan Hu, Yaxin Fan, Xinhao Chen, Xinya Wu, Kai Deng, Kezun Zhang, Feng Wang

💡 개요

금융 분야의 검색 증강 생성(RAG) 시스템은 검색된 정보와 상반되는 환각(hallucination) 문제를 겪고 있습니다. 본 논문은 금융 응답을 원자적 지식 단위로 분해하고 각 단위의 정확성을 평가하여 세밀한 충실도 보상을 계산하는 강화 학습 프레임워크(RLFKV)를 제안합니다. 이 접근 방식은 검색된 문서와의 정렬을 개선하여 환각을 효과적으로 완화합니다.

🔑 시사점 및 한계

•

금융 RAG 시스템에서 발생할 수 있는 환각 문제를 해결하기 위한 효과적인 세밀한 지식 검증 기반 강화 학습 프레임워크를 제시합니다.

•

원자적 지식 단위 검증을 통해 기존의 단순한 보상 체계보다 정밀한 최적화 신호를 제공하여 모델의 충실도를 높입니다.

•

보상 해킹을 방지하기 위한 정보성 보상 도입은 모델이 지나치게 간결한 답변을 생성하는 것을 억제합니다.

•

제안된 FDD-ANT 데이터셋을 통해 실제 금융 데이터셋에서의 성능 향상을 입증했습니다.

•

제안된 방법론의 복잡성 및 실제 금융 시스템에 적용하기 위한 추가적인 검증 및 최적화가 필요할 수 있습니다.

PDF 보기

Made with Slashpage