Towards Dependable Retrieval-Augmented Generation Using Factual Confidence Prediction

작성자

Haebom

카테고리

Empty

저자

Florian Geissler, Francesco Carella, Laura Fieback, Jakob Spiegelberg

💡 개요

본 논문은 검색 증강 생성(RAG)에서 검색된 정보의 사실적 신뢰성을 평가하고 이를 통해 생성된 답변의 신뢰성을 높이는 방법을 제안한다. 이를 위해 두 단계 접근 방식을 사용하는데, 첫째는 의사결정 기반 예측(conformal prediction)을 통해 정확한 출처에서 비롯될 가능성이 높은 문맥만 선택하고, 둘째는 어텐션 기반 사실성 분류기를 사용하여 최종 생성된 답변이 주어진 검색 문맥과 일관적인지 신뢰도를 정량화한다. 제안된 방법론은 RAG 시스템의 신뢰성을 향상시켜 산업 전반의 다양한 자연어 응용 분야에 적용 가능한 인증된 RAG 시스템 구축에 기여한다.

🔑 시사점 및 한계

•

RAG 시스템에서 검색된 정보의 사실성과 생성된 답변의 신뢰성을 객관적으로 평가할 수 있는 새로운 방법론을 제시한다.

•

의사결정 기반 예측을 통해 관련성 높은 문맥을 선별함으로써 답변의 정확도를 향상시키고, 어텐션 기반 분류기를 통해 최종 답변의 일관성을 검증한다.

•

의사결정 기반 예측의 통계적 보장이 리트리버 설정에 따라 일반적이지 않을 수 있다는 점, 그리고 진단 지표를 통해 적합한 설정을 평가해야 한다는 점은 한계점으로 작용한다.

PDF 보기

Made with Slashpage