यह शोधपत्र इस जोखिम को उठाता है कि सार्वजनिक रूप से उपलब्ध बड़े पैमाने के भाषा मॉडल (एलएलएम) बेंचमार्क भविष्य में एलएलएम प्रशिक्षण या चयन में अनजाने में (या जानबूझकर) इस्तेमाल किए जा सकते हैं, जिससे मॉडल संदूषण हो सकता है। मौजूदा समाधान, जैसे बेंचमार्क गोपनीयता और प्रतिभागी मॉडल/पूर्वानुमान प्रस्तुति, किसी विशिष्ट संस्थान में विश्वास पर निर्भर करते हैं और बार-बार प्रश्नों के माध्यम से ओवरफिटिंग की संभावना को खुला छोड़ देते हैं। यह शोधपत्र बेंचमार्क को सार्वजनिक रूप से प्रकट करने की एक विधि प्रस्तावित करता है, जिससे एलएलएम का सार्वजनिक मूल्यांकन पूर्ण उत्तरों का खुलासा किए बिना संभव हो सके। मूल विचार कई तार्किक रूप से सही उत्तर प्रदान करके और उनमें से केवल एक को सही उत्तर के रूप में शामिल करके उत्तरों में यादृच्छिकता का समावेश करना है। यह दृष्टिकोण बेंचमार्क की बायेसियन सटीकता को कम करता है, सही उत्तर की रक्षा करता है और डेटा संदूषण का पता लगाने के लिए एक परीक्षण प्रदान करता है। चूँकि पूर्ण मॉडल भी बायेसियन सटीकता से आगे नहीं बढ़ सकते, इसलिए इससे आगे बढ़ना डेटा संदूषण का एक प्रबल संकेतक है। प्रायोगिक परिणाम प्रदर्शित करते हैं कि यह विधि विभिन्न बेंचमार्क, मॉडल और शिक्षण विधियों में डेटा संदूषण का सटीक रूप से पता लगा सकती है।
