Este artículo aborda el problema de que los modelos lingüísticos a gran escala (LLM) requieren tanto conocimiento contextual como memoria de parámetros, aunque estas dos fuentes de información pueden entrar en conflicto. Investigaciones previas han reportado una preferencia por el conocimiento de parámetros en situaciones de conflicto, pero se han centrado únicamente en tareas que requieren dependencia de una oración dada. Este estudio utiliza un marco de diagnóstico independiente del modelo que detecta automáticamente desajustes entre las creencias de un modelo y un conjunto de conocimientos predefinidos, e introduce conflictos controlados en la tarea. Investigamos cómo se manifiesta este comportamiento en función de la cantidad y el tipo de conocimiento requerido por la tarea. Utilizando un conjunto de datos que abarca dos dimensiones mutuamente ortogonales (dependencia del conocimiento de la tarea y validez del conflicto), evaluamos un LLM representativo de código abierto y observamos que la degradación del rendimiento debido a conflictos se correlaciona con la dependencia del conocimiento de la tarea. Además, observamos que la evidencia explicativa y la repetición simple aumentan la dependencia contextual, pero son perjudiciales cuando el conocimiento de parámetros debería predominar. Este comportamiento plantea dudas sobre la validez de las evaluaciones basadas en modelos y destaca la necesidad de considerar los conflictos de conocimiento al implementar LLM.
