Retrieval-Augmented Generation (RAG) 시스템에서 모델의 환각 현상(hallucination)을 해결하기 위해, Self-Supervised Faithfulness Optimization (SSFO)를 제안. SSFO는 컨텍스트 유무에 따른 모델 출력 간의 대비를 통해 선호도 데이터 쌍을 구축하고, Direct Preference Optimization (DPO)를 사용하여 레이블 비용이나 추가적인 추론 부담 없이 모델의 정확성을 향상시킴. SSFO는 확률 질량을 컨텍스트에 정렬된 토큰으로 이전하는 "likelihood displacement" 현상을 활용하며, 이를 기반으로 개선된 DPO 손실 함수를 제안. 여러 데이터셋에서 기존 방법들을 능가하는 SOTA 성능을 달성했으며, 다국어 환경에서의 일반화 및 일반적인 지시 따르기 능력 보존.
시사점, 한계점
•
시사점:
◦
RAG 시스템의 환각 현상을 해결하기 위한 새로운 접근 방식 제시.
◦
자기 지도 학습(self-supervised) 방식을 통해 레이블링 비용 없이 모델의 정확성을 향상.
◦
DPO를 활용하여 추가적인 추론 부담 없이 모델을 정렬.
◦
"likelihood displacement" 현상을 활용하여 모델의 정확성을 향상시키는 새로운 메커니즘 제안.
