यह शोधपत्र संसाधन-सीमित परिवेशों, जैसे कि रीयल-टाइम स्वास्थ्य सेवा, में बड़े पैमाने के भाषा मॉडल (LLM) को परिनियोजित करने के लिए एक नवीन चिकित्सा सहायता प्रणाली प्रस्तुत करता है। एक सामान्य-उद्देश्य संपीड़न ढाँचे का उपयोग करके अनुकूलित, यह प्रणाली LLM को विशिष्ट डोमेन के अनुरूप बनाती है। डोमेन-विशिष्ट डेटा पर न्यूरॉन के महत्व को मापकर, यह अप्रासंगिक न्यूरॉन्स को प्रभावी ढंग से हटाता है, जिससे मॉडल का आकार कम होता है और प्रदर्शन बना रहता है। इसके बाद, प्रशिक्षण के बाद क्वांटिज़ेशन का उपयोग मेमोरी उपयोग को और कम करने के लिए किया जाता है, और संपीड़ित मॉडलों का मूल्यांकन MedMCQA, MedQA और PubMedQA सहित स्वास्थ्य सेवा मानकों पर किया जाता है। इसके अलावा, हम एक Jetson Orin Nano और एक Raspberry Pi 5 पर 50% संपीड़ित Gemma मॉडल और 67% संपीड़ित LLaMA3 मॉडल परिनियोजित करते हैं, जिससे हार्डवेयर सीमाओं के अंतर्गत रीयल-टाइम, ऊर्जा-कुशल अनुमान प्राप्त होता है।
