यह पत्र एक सिम्बायोसिस फ्रेमवर्क का प्रस्ताव करता है जो पैरामीटर-कुशल फाइन-ट्यूनिंग (PEFT) तकनीक का उपयोग करके बड़े पैमाने पर भाषा मॉडल (LLM) के फाइन-ट्यूनिंग के दौरान होने वाली GPU मेमोरी की अधिक खपत और कम उपयोग की समस्याओं को संबोधित करता है। मौजूदा फ्रेमवर्क की सीमाएँ हैं कि उन्हें कई एडाप्टरों का उपयोग करके फाइन-ट्यूनिंग या अनुमान लगाते समय प्रत्येक कार्य के लिए बेस मॉडल इंस्टेंस की अलग से तैनाती की आवश्यकता होती है, विभिन्न PEFT विधियों या स्वतंत्र संसाधन प्रबंधन के मिश्रण का समर्थन नहीं करते हैं, अनुमान और फाइन-ट्यूनिंग कार्यों के बीच संसाधन साझा करने की अनुमति नहीं देते हैं, और गोपनीयता सुरक्षा का अभाव है। सिम्बायोसिस बेस मॉडल को एक सेवा के रूप में वितरित करके इन मुद्दों का समाधान करता है Llama2-13B का उपयोग करके किए गए मूल्यांकन के परिणाम दर्शाते हैं कि मौजूदा विधियों की तुलना में समान GPU वातावरण में समान समय में चार गुना अधिक एडाप्टरों को फाइन-ट्यून किया जा सकता है।
