SPICE एक स्केलेबल, स्वचालित पाइपलाइन है जो उच्च-गुणवत्ता वाले लेबल वाले डेटासेट उत्पन्न करती है, जो सॉफ़्टवेयर इंजीनियरिंग में मूलभूत मॉडलों के अध्ययन और मूल्यांकन के लिए आवश्यक हैं। यह SWE-बेंच-शैली के डेटासेट को समस्या स्पष्टता, परीक्षण कवरेज और प्रयास अनुमान के साथ स्वचालित रूप से एनोटेट करता है। यह संदर्भ-जागरूक कोड अन्वेषण, साक्ष्य-आधारित संकेत और बहु-पास सहमति को मिलाकर ऐसे लेबल तैयार करता है जो विशेषज्ञ एनोटेशन से काफी मिलते-जुलते हैं। यह 800 से अधिक SWE-Gym इंस्टेंस को लेबल करने के अनुभव पर आधारित है और मानव-लेबल वाले SWE-बेंच सत्यापित डेटा के साथ उच्च सहमति प्राप्त करता है। यह 1,000 इंस्टेंस को लेबल करने की लागत को नाटकीय रूप से कम करता है, जो मैन्युअल एनोटेशन के लिए लगभग $100,000 से घटकर $5.10 हो जाती है। हम SPICE बेंच भी जारी करते हैं, जो SWE-Gym में 291 ओपन-सोर्स परियोजनाओं के 6,802 SPICE-लेबल वाले इंस्टेंस से युक्त एक नया डेटासेट है।
