본 논문은 대규모 언어 모델(LLM)이 외부 컨텍스트(예: RAG에서 사용되는 컨텍스트)를 활용할 때, 부정확하거나 의도적으로 잘못된 정보로 인해 모델의 내부 지식과 충돌이 발생할 수 있음을 지적합니다. 이를 해결하기 위해, 모델의 내부 지식과 외부 컨텍스트에 대한 신뢰도를 동적으로 조정하는 '상황적 신뢰성(situated faithfulness)'을 제안합니다. Reddit 게시물 등에서 수집한 부정확한 컨텍스트를 포함하는 새로운 데이터셋을 사용하여 다양한 LLM을 평가한 결과, 모델들이 외부 정보의 정확성에 관계없이 과도하게 의존하는 경향을 보였습니다. 이 문제를 해결하기 위해 자기 지도 신뢰 추론(SCR)과 규칙 기반 신뢰 추론(RCR)이라는 두 가지 접근 방식을 제시하고, 강력한 추론 능력을 가진 모델에서는 SCR이, 작은 모델에서는 RCR이 더 효과적임을 보였습니다. 또한, CR-DPO 방법을 이용한 SCR 미세 조정을 통해 성능 향상을 달성했습니다.
