Este artículo aborda la cuestión de la coherencia cultural en los modelos lingüísticos a gran escala (LLM), cada vez más utilizados en tareas relacionadas con el patrimonio cultural, como la generación de descripciones de monumentos, la traducción de textos antiguos, la preservación de tradiciones orales y la generación de contenido educativo. Pueden producirse desajustes en los valores culturales, como la distorsión histórica, las identidades culturales y la simplificación excesiva de narrativas culturales complejas, en los textos generados por LLM, lo que conlleva graves consecuencias. Para mitigar estos riesgos, este estudio evalúa sistemáticamente la fiabilidad de los LLM en la generación de textos culturalmente coherentes para tareas relacionadas con el patrimonio cultural. Realizamos una evaluación exhaustiva utilizando un conjunto de datos exhaustivo de 1066 tareas de consulta que abarcan cinco categorías y 17 aspectos de los sistemas de conocimiento del patrimonio cultural, centrados en cinco LLM de código abierto. Investigamos los tipos y las tasas de desajustes en los valores culturales en los textos generados. Utilizando enfoques automatizados y manuales, detectamos y analizamos eficazmente los desajustes en los valores culturales en los textos generados por LLM. Observamos que más del 65 % de los textos generados presentan importantes desajustes culturales, y algunas tareas presentan desajustes casi totales con valores culturales clave. Además de estos hallazgos, este artículo presenta un conjunto de datos de referencia y un flujo de trabajo de evaluación integral que puede servir como valiosos recursos para futuras investigaciones destinadas a mejorar la sensibilidad cultural y la fiabilidad de los LLM.
