ImpliRet एक नया बेंचमार्क है जिसे मौजूदा पुनर्प्राप्ति प्रणालियों की सीमाओं को दूर करने के लिए डिज़ाइन किया गया है। जहाँ मौजूदा बेंचमार्क क्वेरीज़ के प्रसंस्करण पर केंद्रित हैं, वहीं ImpliRet दस्तावेज़ों में निहित जानकारी (कालिक, अंकगणितीय और व्यावहारिक संबंध) का उपयोग करके पुनर्प्राप्ति सटीकता का मूल्यांकन करता है। इसे केवल दस्तावेज़ की निहित जानकारी को समझकर ही सही उत्तर खोजने के लिए डिज़ाइन किया गया है, जिसके लिए साधारण क्वेरीज़ के लिए भी, कालिक, अंकगणितीय और व्यावहारिक ज्ञान की आवश्यकता होती है। विभिन्न विरल और सघन पुनर्प्राप्तिकर्ताओं का मूल्यांकन करते समय, हमने पाया कि सभी मॉडल संघर्ष करते हैं, और सर्वोत्तम nDCG@10 स्कोर केवल 14.91% है। GPT-4-mini सहित दीर्घ-संदर्भ मॉडल भी 55.54% का निम्न प्रदर्शन दिखाता है, जो दर्शाता है कि दस्तावेज़-पक्ष तर्क अभी भी एक कठिन कार्य है।
