इस शोधपत्र में, हम सक्रियण-संचालित संपीड़न (ASC) प्रस्तुत करते हैं, जो वृहद्-स्तरीय भाषा मॉडलों (LLM) की अनुमान प्रक्रिया में अत्यधिक विचार श्रृंखलाओं (CoTs) की समस्या के समाधान हेतु एक नवीन विधि है। ASC, मॉडल के सक्रियण स्थान में संक्षिप्त गणितीय अनुमान और विस्तृत अंग्रेजी-आधारित अनुमान के बीच के अंतर का उपयोग करके एक "संचालन सदिश" को निकालकर और अंतःक्षेपित करके अनुमान प्रक्रिया को संपीड़ित करता है। यह एक ऐसी तकनीक है जो CoT लंबाई को छोटा करने के लिए पुनःप्रशिक्षण के बिना अनुमान के समय छिपे हुए निरूपण को सीधे संशोधित करती है। KL-विचलन-सीमाबद्ध बाधाओं का उपयोग करते हुए सैद्धांतिक विश्लेषण के माध्यम से, हम दर्शाते हैं कि यह संचालन शक्ति को समायोजित करता है और सटीकता बनाए रखते हुए MATH500 और GSM8K डेटासेट पर CoT लंबाई में 67.43% तक की कमी प्राप्त करता है। विशेष रूप से, यह 8B मॉडल पर 2.73x की औसत गति प्राप्त करता है, जो यह दर्शाता है कि यह विलंबता और लागत-संवेदनशील वातावरण में अनुमान क्षमताओं के साथ LLM परिनियोजन के लिए एक व्यावहारिक और कुशल उपकरण है।
