दैनिक अर्क्सिव

यह पेज दुनियाभर में प्रकाशित होने वाले आर्टिफिशियल इंटेलिजेंस संबंधित रिसर्च पेपर्स को संक्षिप्त रूप में प्रस्तुत करता है।
यहां Google Gemini का उपयोग करके पेपर्स का सारांश तैयार किया जाता है और यह पेज गैर-लाभकारी रूप से संचालित किया जाता है।
पेपर के कॉपीराइट लेखक और संबंधित संस्थान के पास हैं, और साझा करते समय बस स्रोत का उल्लेख करें।

आईपीए: कुशल फाउंडेशन मॉडल अनुकूलन के लिए सूचना-संरक्षण इनपुट प्रक्षेपण ढांचा

Created by
  • Haebom

लेखक

युआन यिन, शशांक वेंकटरमनन, तुआन-हंग वु, आंद्रेई बर्सुक, मैथ्यू कॉर्ड

रूपरेखा

यह शोधपत्र LoRA जैसी पैरामीटर-कुशल फ़ाइन-ट्यूनिंग (PEFT) विधियों की Limitations को संबोधित करने के लिए, एक विशेषता-जागरूक प्रक्षेपण ढाँचा, सूचना-संरक्षण अनुकूलन (IPA) का प्रस्ताव करता है। जहाँ LoRA यादृच्छिक रूप से आरंभीकृत आयाम न्यूनीकरण का उपयोग करता है, जिससे सूचना का ह्रास होता है, वहीं IPA मुख्य प्रमुख घटकों का सन्निकटन करने वाले एक एल्गोरिथ्म के माध्यम से कम किए गए छिपे हुए स्थान में सूचना को स्पष्ट रूप से संरक्षित करता है। रैखिक मामलों में, IPA नगण्य अनुमान ओवरहेड के साथ कुशल प्रोजेक्टर प्रीट्रेनिंग को सक्षम बनाता है।

Takeaways, Limitations

Takeaways:
LoRA की यादृच्छिक आयाम न्यूनीकरण की सीमाओं पर काबू पाकर प्रदर्शन में सुधार प्राप्त करें।
यह कॉमनसेंस रीजनिंग और VTAB-1k जैसे बेंचमार्क पर LoRA और DoRA की तुलना में 1.5 और 2.3 अंकों का औसत सटीकता सुधार दर्शाता है।
जब प्रक्षेपण निश्चित होता है, तो यह LoRA के लगभग आधे सीखने योग्य मापदंडों के साथ LoRA के समतुल्य प्रदर्शन प्राप्त करता है।
कुशल प्रोजेक्टर पूर्व-प्रशिक्षण के माध्यम से अनुमान ओवरहेड को न्यूनतम करें।
Limitations:
वर्तमान में, केवल रैखिक मामलों के लिए IPA एल्गोरिथम प्रस्तुत किया गया है। अरैखिक मामलों में विस्तार की आवश्यकता है।
प्रस्तुत बेंचमार्क के अलावा अन्य कार्यों पर सामान्यीकरण प्रदर्शन पर आगे अनुसंधान की आवश्यकता है।
आईपीए की दक्षता और प्रदर्शन में सुधार, उपयोग किए गए डेटासेट और मॉडल के आधार पर भिन्न हो सकते हैं।
👍