본 논문은 대규모 언어 모델(LLM)이 문맥 지식과 매개변수 기억 모두를 필요로 하지만, 이 두 정보원이 상충될 수 있다는 문제를 다룬다. 기존 연구는 상충되는 경우 매개변수 지식을 선호하는 경향을 보고했지만, 주어진 문장에만 의존해야 하는 작업에만 초점을 맞추었다. 본 연구는 모델의 신념과 큐레이션된 지식 집합 간의 불일치를 자동으로 감지하고, 작업에 제어된 충돌을 주입하는 모델 독립적 진단 프레임워크를 사용하여, 작업이 요구하는 지식의 양과 종류에 따라 이러한 행동이 어떻게 나타나는지 연구한다. 두 가지 상호 직교 차원(작업 지식 의존도 및 충돌 타당성)을 포괄하는 데이터 세트를 사용하여 대표적인 오픈 소스 LLM을 평가한 결과, 충돌로 인한 성능 저하가 작업의 지식 의존도와 상관관계가 있음을 발견하였다. 또한, 설명적 근거와 단순 반복은 문맥 의존도를 증가시키지만, 매개변수 지식이 우세해야 하는 경우에는 해롭다는 것을 밝혔다. 이러한 행동은 모델 기반 평가의 타당성에 대한 우려를 제기하며, LLM 배포 시 지식 충돌을 고려해야 할 필요성을 강조한다.
