यह शोधपत्र बड़े पैमाने के भाषा मॉडल (एलएलएम) में सांस्कृतिक संगति के मुद्दे पर विचार करता है, जिनका उपयोग सांस्कृतिक विरासत से संबंधित कार्यों जैसे स्मारक विवरण तैयार करना, प्राचीन ग्रंथों का अनुवाद करना, मौखिक परंपराओं का संरक्षण करना और शैक्षिक सामग्री तैयार करना, में तेज़ी से हो रहा है। एलएलएम-जनित ग्रंथों में सांस्कृतिक मूल्य विसंगतियाँ, जैसे ऐतिहासिक विकृति, सांस्कृतिक पहचान और जटिल सांस्कृतिक आख्यानों का अतिसरलीकरण, हो सकती हैं, जिसके गंभीर परिणाम हो सकते हैं। इन जोखिमों को कम करने के लिए, यह अध्ययन सांस्कृतिक विरासत से संबंधित कार्यों के लिए सांस्कृतिक रूप से सुसंगत ग्रंथों के निर्माण में एलएलएम की विश्वसनीयता का व्यवस्थित मूल्यांकन करता है। हम पाँच श्रेणियों और सांस्कृतिक विरासत ज्ञान प्रणालियों के 17 पहलुओं को शामिल करते हुए 1,066 क्वेरी कार्यों के एक व्यापक डेटासेट का उपयोग करके एक व्यापक मूल्यांकन करते हैं, और पाँच ओपन-सोर्स एलएलएम को लक्षित करते हैं। हम उत्पन्न ग्रंथों में सांस्कृतिक मूल्य विसंगतियों के प्रकारों और दरों की जाँच करते हैं। स्वचालित और मैन्युअल तरीकों का उपयोग करके, हम एलएलएम-जनित ग्रंथों में सांस्कृतिक मूल्य विसंगतियों का प्रभावी ढंग से पता लगाते हैं और उनका विश्लेषण करते हैं। हमने पाया है कि 65% से ज़्यादा तैयार किए गए पाठों में महत्वपूर्ण सांस्कृतिक विसंगतियाँ हैं, और कुछ कार्यों में तो प्रमुख सांस्कृतिक मूल्यों के साथ लगभग पूर्ण विसंगतियाँ दिखाई देती हैं। इन निष्कर्षों के अलावा, यह शोधपत्र एक मानक डेटासेट और एक व्यापक मूल्यांकन कार्यप्रवाह प्रस्तुत करता है जो एलएलएम की सांस्कृतिक संवेदनशीलता और विश्वसनीयता में सुधार लाने के उद्देश्य से भविष्य के शोध के लिए मूल्यवान संसाधन के रूप में काम कर सकता है।
