यह शोधपत्र बटरफ्लाईक्वांट, एक नवीन क्वांटीकरण तकनीक प्रस्तावित करता है जो 2-बिट क्वांटीकरण में सक्रियण आउटलायर्स के कारण होने वाले प्रदर्शन ह्रास को दूर करती है। जबकि मौजूदा घूर्णन-आधारित विधियाँ (QuIP, QuaRot) एक निश्चित हैडामार्ड रूपांतरण का उपयोग करती हैं, यह शोधपत्र पाता है कि एक ट्रांसफॉर्मर की प्रत्येक परत विशिष्ट आउटलायर पैटर्न प्रदर्शित करती है। इसलिए, हम बटरफ्लाईक्वांट, एक सीखने योग्य बटरफ्लाई रूपांतरण प्रस्तावित करते हैं जो परतों को अनुकूल रूप से घुमाता है। बटरफ्लाई रूपांतरण, सतत गिवेंस घूर्णन कोणों को मापदंडों के रूप में उपयोग करके अवकलनीय है, ऑर्थोगोनैलिटी की गारंटी देता है, और इसकी गणनात्मक जटिलता $O(n \log n)$ है, जिसमें केवल $\frac{n \log n}{2}$ सीखने योग्य पैरामीटर हैं। इसके अलावा, हम रूपांतरण के बाद सक्रियणों का एकसमान नियमन प्रस्तुत करते हैं ताकि परिमाणीकरण के लिए उपयुक्त एक सुचारू वितरण सुनिश्चित हो सके। LLaMA-2-7B मॉडल पर 2-बिट क्वांटीकरण का उपयोग करके प्रायोगिक परिणाम दर्शाते हैं कि बटरफ्लाईक्वांट, क्वारॉट से काफी बेहतर प्रदर्शन करता है।
