यह शोधपत्र R2Vul का प्रस्ताव करता है, जो सॉफ़्टवेयर कमज़ोरियों का पता लगाने की एक नवीन विधि है। R2Vul, रीइन्फोर्समेंट लर्निंग-बेस्ड AI फीडबैक (RLAIF) और स्ट्रक्चर्ड इंफ़रेंस डिस्टिलेशन को मिलाकर, छोटे-कोड LLM को कमज़ोरियों का पता लगाने और सुरक्षा-सचेत स्पष्टीकरण तैयार करने हेतु प्रशिक्षित करता है। मौजूदा विचार प्रक्रियाओं और निर्देशात्मक ट्यूनिंग विधियों के विपरीत, R2Vul, RLAIF के माध्यम से विश्वसनीय लेकिन निराधार स्पष्टीकरणों की तुलना में पुष्ट स्पष्टीकरणों को प्राथमिकता देता है, जिसके परिणामस्वरूप अधिक सटीक पहचान और उच्च-गुणवत्ता वाले निष्कर्ष प्राप्त होते हैं। RLAIF का समर्थन करने के लिए, हमने पहला बहुभाषी भेद्यता पहचान वरीयता डेटासेट बनाया, जिसमें C#, JavaScript, Java, Python और C से 18,000 उच्च-गुणवत्ता वाले नमूने शामिल हैं। पाँच प्रोग्रामिंग भाषाओं में, हमने चार स्थैतिक विश्लेषण उपकरणों, आठ अत्याधुनिक LLM-आधारित बेसलाइन मॉडलों और विभिन्न फ़ाइन-ट्यूनिंग विधियों के प्रदर्शन की तुलना की। हमने दर्शाया है कि 1.5 बिलियन-पैरामीटर वाला R2Vul मॉडल, 32 बिलियन-पैरामीटर वाले शिक्षक मॉडल और क्लाउड-4-ओपस जैसे अग्रणी व्यावसायिक LLM से बेहतर प्रदर्शन करता है। इसके अतिरिक्त, हमने विभिन्न असंतुलित डेटा वितरणों के अंतर्गत मिथ्या सकारात्मक दर को कम करने के लिए एक हल्का सुधारात्मक चरण भी प्रस्तुत किया है। अंततः, गुणात्मक विश्लेषण से पता चलता है कि LLM और मानव मूल्यांकनकर्ताओं, दोनों ने R2Vul मॉडल के अनुमानों को अन्य अनुमान-आधारित आधारभूत मॉडलों की तुलना में लगातार उच्चतर रेटिंग दी है।
