यह शोधपत्र पैरामीटर-कुशल स्थानांतरण अधिगम का उपयोग करके पूर्व-प्रशिक्षित मॉड्यूल लाइब्रेरी से LoRA एडाप्टर बनाने की एक विधि प्रस्तुत करता है। मौजूदा दृष्टिकोण सरल खोज अनुमान या एकसमान औसत पर निर्भर करते हैं, जो निरूपण स्थान में कार्य संबंधों की अव्यक्त संरचना की अनदेखी करते हैं। यह शोधपत्र एडाप्टर पुन: उपयोग के लिए एक नवीन ढाँचा प्रस्तावित करता है, जिसमें एडाप्टर निर्माण को एक ज्यामिति-सचेत विरल पुनर्निर्माण समस्या के रूप में सूत्रबद्ध किया गया है। विशेष रूप से, हम प्रत्येक कार्य को एक आधार मॉडल के एनकोडर से व्युत्पन्न एक अव्यक्त प्रोटोटाइप वेक्टर के रूप में निरूपित करते हैं, और लक्ष्य कार्य प्रोटोटाइप को ℓ1-नियमित अनुकूलन उद्देश्य के अंतर्गत प्राप्त संदर्भ प्रोटोटाइप के एक विरल रैखिक संयोजन के रूप में सन्निकटित करते हैं। परिणामी संयुक्त भारों का उपयोग लक्ष्य कार्य के अनुरूप एक संयुक्त एडाप्टर उत्पन्न करने के लिए संगत LoRA एडाप्टरों को मिश्रित करने के लिए किया जाता है। यह सूत्रीकरण न केवल कार्य निरूपण मैनिफोल्ड की स्थानीय ज्यामितीय संरचना को संरक्षित करता है, बल्कि प्रासंगिक एडाप्टरों के एक न्यूनतम समूह का भी चयन करता है, जिससे व्याख्यात्मकता और कुशल पुन: उपयोग को बढ़ावा मिलता है। हम चिकित्सा छवि विभाजन, चिकित्सा रिपोर्ट निर्माण और छवि संश्लेषण सहित कई क्षेत्रों में इस दृष्टिकोण की प्रभावशीलता को प्रदर्शित करते हैं। प्रायोगिक परिणाम बेहतर शून्य-शॉट सामान्यीकरण के लिए खोज और अव्यक्त ज्यामिति-जागरूक अनुकूलन के संयोजन के लाभों पर प्रकाश डालते हैं।
