Cet article aborde la question de la cohérence culturelle dans les modèles linguistiques à grande échelle (MLH), de plus en plus utilisés dans des tâches liées au patrimoine culturel, telles que la description de monuments, la traduction de textes anciens, la préservation des traditions orales et la création de contenus pédagogiques. Des inadéquations culturelles, telles que la distorsion historique, les identités culturelles et la simplification excessive de récits culturels complexes, peuvent survenir dans les textes générés par les LH, entraînant de graves conséquences. Afin d'atténuer ces risques, cette étude évalue systématiquement la fiabilité des LH dans la génération de textes culturellement cohérents pour les tâches liées au patrimoine culturel. Nous menons une évaluation exhaustive à l'aide d'un ensemble de données complet de 1 066 tâches de requête couvrant cinq catégories et 17 aspects des systèmes de connaissances du patrimoine culturel, ciblant cinq LHH open source. Nous examinons les types et les taux d'inadéquations culturelles dans les textes générés. Grâce à des approches automatisées et manuelles, nous détectons et analysons efficacement les inadéquations culturelles dans les textes générés par les LHH. Nous constatons que plus de 65 % des textes générés présentent des inadéquations culturelles significatives, certaines tâches présentant des inadéquations quasi totales avec des valeurs culturelles clés. Au-delà de ces résultats, cet article présente un ensemble de données de référence et un flux de travail d’évaluation complet qui peuvent servir de ressources précieuses pour les recherches futures visant à améliorer la sensibilité culturelle et la fiabilité des LLM.
