대규모 언어 모델(LLM)의 발전에도 불구하고, LLM은 내부 기억과 외부에서 검색된 정보 간의 지식 충돌에 직면하며, 이는 잘못된 정보, 편향, 또는 오래된 지식에서 발생한다. 이러한 충돌은 응답 신뢰성을 저해하고 의사 결정에 불확실성을 초래한다. 본 연구에서는 LLM이 정보 이론적 관점에서 지식 충돌을 어떻게 탐색하는지 분석하고, 충돌 정보와 보충 정보가 유의미한 차이를 보일 때 LLM이 자신의 선호도를 자신 있게 해결하고 응답 생성 중의 불확실성을 완화한다는 것을 밝힌다. 이러한 차이가 모호할 때는 LLM은 생성에 상당한 불확실성을 경험한다. 이를 바탕으로, 본 연구는 변분 정보 병목 모델 파이프라인을 통합하여 검색된 정보 차이를 적응시키고, 충돌 상황에서도 LLM의 강력한 응답 생성을 용이하게 하는 새로운 프레임워크인 Swin-VIB를 제안한다. 광범위한 실험을 통해 Swin-VIB의 성능을 검증했다. 특히, Swin-VIB는 다중 선택 작업의 정확성 측면에서 모든 경쟁 기본 모델보다 뛰어났으며, 개방형 질문 답변 작업에서 EM 값을 최소 11.14% 향상시켰다.
