यह शोधपत्र डीपस्कॉलर-बेंच का प्रस्ताव करता है, जो जनरेटिव रिसर्च सिंथेसिस सिस्टम के मूल्यांकन हेतु एक नवीन मानक है। मौजूदा प्रश्न-उत्तर मानक संक्षिप्त, तथ्यात्मक प्रतिक्रियाओं पर केंद्रित होते हैं, और उनके विशेषज्ञ-संकलित डेटासेट अक्सर पुराने या डेटा संदूषण से ग्रस्त होते हैं, जो वास्तविक दुनिया के शोध संश्लेषण कार्यों की जटिलता और विकासशील प्रकृति को पर्याप्त रूप से समझने में विफल रहते हैं। डीपस्कॉलर-बेंच नवीनतम, उच्च-गुणवत्ता वाले ArXiv लेखों से क्वेरीज़ निकालने और प्रासंगिक शोध अनुभाग बनाने के वास्तविक दुनिया के शोध संश्लेषण कार्य पर केंद्रित है। इसमें प्रासंगिक शोध को पुनः प्राप्त करना, उसका संश्लेषण करना और उसका हवाला देना शामिल है। मूल्यांकन ढाँचा तीन प्रमुख पहलुओं का व्यापक मूल्यांकन करता है: ज्ञान संश्लेषण, पुनर्प्राप्ति गुणवत्ता और सत्यापन योग्यता। हम डीपस्कॉलर-बेस भी विकसित करते हैं, जो लोटस एपीआई का उपयोग करके एक कुशलतापूर्वक कार्यान्वित संदर्भ पाइपलाइन है, और डीपस्कॉलर-बेंच ढाँचे का उपयोग करके मौजूदा ओपन-सोर्स सिस्टम, सर्च एआई, ओपनएआई के डीपरिसर्च और डीपस्कॉलर-बेस का व्यवस्थित मूल्यांकन करते हैं। हम पाते हैं कि डीपस्कॉलर-बेस एक मज़बूत आधार रेखा स्थापित करता है जो प्रतिस्पर्धी या बेहतर प्रदर्शन प्राप्त करता है। इससे पता चलता है कि डीपस्कॉलर-बेंच अभी संतृप्त नहीं है, क्योंकि कोई भी सिस्टम किसी भी मीट्रिक में $19$ से अधिक नहीं है।
