यह पत्र कोड पुनर्प्राप्ति की गुणवत्ता-जागरूकता के मूल्यांकन हेतु एक बड़े पैमाने पर, बहुभाषी बेंचमार्क CoQuIR का प्रस्ताव करता है, जो सॉफ्टवेयर विकास में कोड पुन: उपयोग और डीबगिंग गति में सुधार के लिए आवश्यक है। मौजूदा बेंचमार्क के विपरीत, जो केवल कार्यात्मक प्रासंगिकता पर ध्यान केंद्रित करते हैं, CoQuIR 11 प्रोग्रामिंग भाषाओं में 42,725 प्रश्नों और 134,907 कोड स्निपेट के लिए सूक्ष्म गुणवत्ता एनोटेशन प्रदान करता है, जिसमें चार मुख्य आयामों पर विचार किया जाता है: सटीकता, दक्षता, सुरक्षा और रखरखाव। दो गुणवत्ता-केंद्रित मूल्यांकन मेट्रिक्स - जोड़ीदार वरीयता सटीकता और मार्जिन-आधारित रैंकिंग स्कोर - का उपयोग करते हुए, हम 23 पुनर्प्राप्ति मॉडल का बेंचमार्क करते हैं और पाते हैं कि सर्वश्रेष्ठ प्रदर्शन करने वाले मॉडल भी बग वाले या असुरक्षित कोड को अधिक मजबूत कोड से अलग करने के लिए संघर्ष करते हैं। निष्कर्षतः, यह अध्ययन कोड खोज प्रणालियों में गुणवत्ता संकेतों को एकीकृत करने के महत्व पर प्रकाश डालता है, तथा अधिक विश्वसनीय और मजबूत सॉफ्टवेयर विकास उपकरणों की नींव रखता है।
