यह शोधपत्र प्रशिक्षण-पश्चात परिमाणीकरण (PTQ) का अन्वेषण करता है, जो बड़े पैमाने के भाषा मॉडल (LLM) के परिनियोजन के दौरान उत्पन्न होने वाले आकार संबंधी मुद्दों के समाधान हेतु एक व्यावहारिक संपीड़न विधि है। हम देखते हैं कि पिछले अध्ययन PTQ के प्रभाव और परिमाणित मॉडल के स्केलिंग नियमों की व्यापक समझ प्रदान करने में विफल रहे हैं। हमने विभिन्न कार्यों में पदानुक्रमित स्केलिंग नियमों का प्रयोगात्मक रूप से अन्वेषण किया है। हम LLM में ज्ञान को स्मरण और उपयोग कौशल में विघटित करते हैं और मॉडल आकार, प्रभावी बिट चौड़ाई, अंशांकन सेट आकार और समूह आकार को समाहित करते हुए एक एकीकृत मात्रात्मक ढाँचा विकसित करते हैं। हमारे परिणाम बताते हैं कि ज्ञान का स्मरण, ज्ञान के उपयोग की तुलना में प्रभावी बिट चौड़ाई, अंशांकन सेट आकार और मॉडल आकार में परिवर्तनों के प्रति काफी अधिक संवेदनशील होता है। ये निष्कर्ष PTQ के प्रभाव की एक विस्तृत समझ प्रदान करते हैं और ज्ञान-जागरूक परिमाणीकरण रणनीतियों को विकसित करने के लिए मार्गदर्शन प्रदान करते हैं जो लक्षित संज्ञानात्मक कार्यों को बेहतर ढंग से संरक्षित करती हैं।
