यह पेपर पैरामीटर-कुशल फ़ाइन-ट्यूनिंग (PEFT) विधि, विशेष रूप से लो-रैंक अनुकूलन (LoRA) के कुशल उपयोग पर केंद्रित है। पारंपरिक LoRA धीमी अभिसरण गति और ज्ञान हानि के मुद्दों से ग्रस्त है, जिसे हम LoRA आरंभीकरण विधि में सुधार करके संबोधित करते हैं। पिछले कार्यों के विपरीत जो केवल पूर्व-प्रशिक्षित LLM के कुशल फ़ाइन-ट्यूनिंग या ज्ञान संरक्षण पर ध्यान केंद्रित करते हैं, यह पेपर दोनों लक्ष्यों को एक साथ प्राप्त करने के लिए सबस्पेस-कॉन्स्ट्रेन्ड LoRA (SC-LoRA) का प्रस्ताव करता है। SC-LoRA को प्रशिक्षित LoRA एडेप्टर के आउटपुट को कम-आयामी सबस्पेस में सीमित करने के लिए डिज़ाइन किया गया है, ताकि फ़ाइन-ट्यूनिंग डेटा की प्रासंगिक जानकारी को यथासंभव संरक्षित किया जा सके और मौजूदा ज्ञान की प्रासंगिक जानकारी को यथासंभव न्यूनतम रखा जा सके। यह प्रशिक्षण भार को मौजूदा ज्ञान को नुकसान पहुँचाए बिना फ़ाइन-ट्यूनिंग डेटा की मुख्य विशेषताओं पर ध्यान केंद्रित करने की अनुमति देता है। विभिन्न उप-कार्यों पर सैद्धांतिक विश्लेषण और प्रयोगात्मक परिणामों के माध्यम से, हम प्रदर्शित करते हैं कि SC-LoRA बेहतर फ़ाइन-ट्यूनिंग प्रदर्शन प्रदान करता है और पारंपरिक LoRA आरंभीकरण विधियों की तुलना में ज्ञान हानि को काफी कम करता है।
