इस शोधपत्र में, हम EigenLoRAx का प्रस्ताव करते हैं, जो बड़े पैमाने के मॉडल को ठीक करने में पर्यावरणीय प्रभाव की निष्पक्षता और पहुँच के मुद्दों को संबोधित करने के लिए एक हल्की फ़ाइन-ट्यूनिंग तकनीक है। यह साझा डोमेन ज्ञान के साथ संरेखित एक प्रमुख घटक स्थान उत्पन्न करने के लिए मौजूदा पूर्व-प्रशिक्षित निम्न-रैंक एडाप्टर (LoRA) का उपयोग करता है, और इसके आधार पर नए कार्यों के लिए तेज़ी से अनुकूल होता है। कम संसाधन वाले वातावरण में, ऑर्थोगोनल बेसिस वैक्टर जोड़कर स्थान का विस्तार किया जाता है। EigenLoRAx पूरे एडाप्टर को फ़ाइन-ट्यून करने की आवश्यकता के बिना केवल प्रमुख घटकों के लिए हल्के गुणांक सीखता है, जो पैरामीटर और मेमोरी उपयोग को महत्वपूर्ण रूप से कम करता है और प्रशिक्षण और अनुमान दक्षता में सुधार करता है। यह विभिन्न डोमेन और कार्यों में मजबूत प्रदर्शन प्रदर्शित करता है, और संसाधन-विवश वातावरण में एज-आधारित अनुप्रयोगों, वैयक्तिकरण और बड़े पैमाने के मॉडल की निष्पक्ष तैनाती के लिए एक स्केलेबल समाधान प्रदान करता है।
