अल्ट्रा-लो-बिट (<2-बिट) क्वांटिज़ेशन में गंभीर प्रदर्शन गिरावट से ग्रस्त बड़े पैमाने के भाषा मॉडल (LLM) की समस्या का समाधान करने के लिए, यह शोधपत्र PTQ1.61, एक नवीन अल्ट्रा-लो-बिट पोस्ट-ट्रेनिंग क्वांटिज़ेशन (PTQ) विधि प्रस्तावित करता है जो 1.61-बिट वेट क्वांटिज़ेशन को सक्षम बनाता है। जहाँ मौजूदा विधियाँ प्रति वेट 1 से अधिक अतिरिक्त बिट का उपयोग करती हैं, वहीं PTQ1.61 इनपुट सक्रियण पर आधारित एक-आयामी संरचित मास्क प्रस्तुत करता है जो केवल एक नगण्य 0.0002-बिट अतिरिक्त बिट का उपयोग करता है, महत्वपूर्ण वेट चैनलों को 4 बिट आवंटित करता है, और एक ब्लॉक-वार स्केलिंग कारक अनुकूलन ढाँचे के माध्यम से गैर-महत्वपूर्ण चैनलों पर बाइनरीकरण करता है। इसके अलावा, हम एक नवीन क्वांटिज़ेशन पूर्वप्रसंस्करण प्रतिमान प्रस्तुत करते हैं जो क्वांटिज़ेशन से पहले पूर्व-प्रशिक्षित मॉडल के वेट वितरण को रूपांतरित करके अल्ट्रा-लो-बिट चैनल-विशिष्ट PTQ की कठिनाइयों को कम करता है। प्रायोगिक परिणाम दर्शाते हैं कि PTQ1.61 अल्ट्रा-लो-बिट क्वांटिज़ेशन में अत्याधुनिक प्रदर्शन प्राप्त करता है।
