この論文は、大規模言語モデル（LLM）が文脈知識とパラメータ記憶の両方を必要としますが、これら2つの情報源が矛盾する可能性があるという問題を扱います。既存の研究は、矛盾がある場合はパラメータの知識を好む傾向を報告しましたが、与えられた文にのみ依存する必要がある作業にのみ焦点を当てました。この研究は、モデルの信念とキュレーションされた知識のセットとの間の不一致を自動的に検出し、タスクに制御された衝突を注入するモデルに依存しない診断フレームワークを使用して、タスクが必要とする知識の量と種類に応じてこれらの行動がどのように現れるかを研究します。 2つの相互直交次元（作業知識依存性と衝突妥当性）をカバーするデータセットを使用して代表的なオープンソースLLMを評価したところ、衝突によるパフォーマンスの低下が作業の知識依存性と相関関係があることがわかりました。さらに、説明的な根拠と単純な反復は文脈依存性を高めますが、パラメータ知識が優勢でなければならない場合は有害であることを明らかにしました。これらの行動はモデルベースの評価の妥当性に関する懸念を提示し、LLMの展開における知識の衝突を考慮する必要性を強調します。
