यह पत्र बफर ओवरफ्लो और SQL इंजेक्शन (उच्च मिथ्या सकारात्मक दर, मापनीयता के मुद्दे और मैन्युअल हस्तक्षेप पर निर्भरता) जैसी सॉफ़्टवेयर कमजोरियों का पता लगाने के मौजूदा तरीकों की सीमाओं पर प्रकाश डालता है और AI-आधारित दृष्टिकोणों में रुचि बढ़ाता है। विशेष रूप से, हम व्याख्या और परिनियोजन चुनौतियों पर काबू पाने के लिए एक हल्के और व्याख्या योग्य विकल्प के रूप में स्पार्स ऑटोएनकोडर (SAE) का प्रस्ताव करते हैं। हम जावा फ़ंक्शन में बग का पता लगाने के लिए GPT-2 स्मॉल और जेम्मा 2B से उत्पन्न अभ्यावेदन पर SAE का मूल्यांकन करते हैं और प्रदर्शित करते हैं कि यह मौजूदा फ़ाइन-ट्यून्ड ट्रांसफ़ॉर्मर-आधारित मॉडल की तुलना में बेहतर प्रदर्शन (89% F1 स्कोर तक) प्राप्त करता है। यह पहला अध्ययन है जो अनुभवजन्य रूप से प्रदर्शित करता है कि SAE फ़ाइन-ट्यूनिंग या कार्य-विशिष्ट पर्यवेक्षण के बिना पूर्व-प्रशिक्षित LLM के आंतरिक अभ्यावेदन से सॉफ़्टवेयर बग का पता लगा सकता है।
