यह शोधपत्र भेद्यता पहचान (VD) के लिए एक पूर्व-प्रशिक्षित भाषा मॉडल (PLM) RevisitVD का एक व्यापक अध्ययन प्रस्तुत करता है। एक नए निर्मित डेटासेट का उपयोग करते हुए, हम 17 PLM (लघु-स्तरीय, कोड-विशिष्ट PLM और वृहद्-स्तरीय PLM सहित) का उपयोग करके फ़ाइन-ट्यूनिंग और प्रॉम्प्ट इंजीनियरिंग दृष्टिकोणों की तुलना करते हैं। हम विभिन्न प्रशिक्षण और परीक्षण सेटिंग्स, सामान्यीकरण क्षमता, और कोड सामान्यीकरण, अमूर्तन और अर्थगत परिवर्तनों के प्रति उनकी मजबूती का मूल्यांकन करते हैं। हम पाते हैं कि कोड के वाक्यात्मक और अर्थगत पैटर्न को पकड़ने के लिए डिज़ाइन किए गए पूर्व-प्रशिक्षित कार्य को शामिल करने वाला PLM, केवल बड़े कोड कॉर्पोरा पर सामान्य-उद्देश्य वाले PLM या पूर्व-प्रशिक्षित या फ़ाइन-ट्यून्ड PLM से बेहतर प्रदर्शन करता है। हालाँकि, हम यह भी पाते हैं कि यह वास्तविक दुनिया के परिदृश्यों में, जैसे जटिल निर्भरताओं वाली भेद्यताओं का पता लगाना, कोड सामान्यीकरण और अमूर्तन के कारण होने वाले परिवर्तनों को संभालना, और अर्थगत रूप से भेद्य कोड परिवर्तनों की पहचान करना, संघर्ष करता है। हम यह भी उजागर करते हैं कि PLM की सीमित संदर्भ विंडो, ट्रंकेशन के कारण महत्वपूर्ण लेबलिंग त्रुटियों का कारण बन सकती है।
