इस पत्र में, हम निम्न-बिट (2-3 बिट) क्वांटाइजेशन में प्रदर्शन में गिरावट की समस्या को हल करने के लिए एक नवीन मिश्रित-परिशुद्धता पोस्ट-लर्निंग क्वांटाइजेशन तकनीक, टास्क-सर्किट क्वांटाइजेशन (TaCQ) का प्रस्ताव रखते हैं। TaCQ, क्वांटाइजेशन प्रक्रिया को वेट सर्किट पर सीधे कंडीशनिंग करके काम करता है, जो किसी विशिष्ट कार्य के प्रदर्शन से संबंधित वेट का एक समूह होता है। किसी विशिष्ट कार्य के प्रदर्शन के लिए महत्वपूर्ण वेट को 16 बिट्स के रूप में रखा जाता है, और शेष वेट को क्वांटाइज्ड किया जाता है, जिससे प्रदर्शन में गिरावट को न्यूनतम रखते हुए मेमोरी उपयोग को कुशलतापूर्वक कम किया जा सकता है। हम क्वांटाइजेशन के कारण वेट में होने वाले परिवर्तनों और कार्य प्रदर्शन पर उनके प्रभाव का अनुमान लगाने के लिए ग्रेडिएंट जानकारी का उपयोग करते हैं, और प्रयोगात्मक रूप से प्रदर्शित करते हैं कि यह सामान्य-उद्देश्य और कार्य-विशिष्ट दोनों डेटा का उपयोग करके विभिन्न कार्यों (QA, गणितीय तर्क, टेक्स्ट-टू-SQL) और मॉडल (Llama-3, Qwen2.5) पर मौजूदा विधियों से बेहतर प्रदर्शन करता है। विशेष रूप से, यह 2-बिट और 3-बिट क्वांटिज़ेशन वातावरण में मौजूदा अत्याधुनिक विधियों की तुलना में महत्वपूर्ण प्रदर्शन सुधार प्राप्त करता है।
