पायथन पैकेज भेद्यता का पता लगाने वाले उपकरणों की प्रभावशीलता पर शोध की कमी को दूर करने के लिए, यह पत्र PyVul का परिचय देता है, जो पहला व्यापक पायथन पैकेज भेद्यता बेंचमार्क सेट है। PyVul में 1,157 सार्वजनिक रूप से रिपोर्ट की गई और डेवलपर द्वारा सत्यापित कमजोरियाँ हैं, जिनमें से प्रत्येक एक प्रभावित पैकेज से जुड़ी है। यह विभिन्न प्रकार की पहचान तकनीकों को समायोजित करने के लिए प्रतिबद्ध और फ़ंक्शन स्तरों पर एनोटेशन प्रदान करता है, और LLM-आधारित डेटा क्लींजिंग विधि के माध्यम से 100% प्रतिबद्ध-स्तर सटीकता और 94% फ़ंक्शन-स्तर सटीकता प्राप्त करता है। PyVul के वितरण विश्लेषण से पता चलता है कि पायथन पैकेज कमजोरियाँ प्रोग्रामिंग भाषाओं और प्रकारों की एक विस्तृत श्रृंखला को कवर करती हैं, यह सुझाव देते हुए कि बहुभाषी पायथन पैकेज कमजोरियों के प्रति अधिक संवेदनशील हो सकते हैं।
