Investigating Context-Faithfulness in Large Language Models: The Roles of Memory Strength and Evidence Style
Created by
Haebom
저자
Yuepei Li, Kang Zhou, Qiao Qiao, Bach Nguyen, Qing Wang, Qi Li
개요
본 논문은 Retrieval-augmented generation (RAG)에서 Large Language Models (LLMs)의 맥락 충실도에 대한 연구를 수행했습니다. 기존 연구에서 다루지 않았던 LLM의 기억 강도(질문의 다른 표현에 대한 응답의 차이로 측정)와 증거 제시 방식의 영향을 분석했습니다. 높은 기억 강도를 가진 질문일수록 LLM은 내부 기억에 의존하는 경향이 있고, 단순 반복이나 세부 정보 추가보다 의역된 증거를 제시하는 것이 LLM의 외부 증거 수용도를 높인다는 것을 발견했습니다. 이 연구 결과는 RAG 및 맥락 인식 LLM 개선에 중요한 시사점을 제공합니다. 코드는 https://github.com/liyp0095/ContextFaithful 에서 확인할 수 있습니다.