यह पत्र सुधारात्मक अनुकूली निम्न-श्रेणी अपघटन (CALR) का प्रस्ताव करता है, जो एक नवीन विधि है जो बड़े पैमाने के भाषा मॉडल (LLM) को तैनात करने की चुनौतियों, विशेष रूप से उनके विशाल आकार और उच्च गणना संबंधी मांगों को दूर करने के लिए एकल मान अपघटन (SVD) का उपयोग करके निम्न-श्रेणी अपघटन तकनीक में सुधार करती है। जबकि मौजूदा SVD-आधारित संपीड़न विधियाँ मॉडल पुनर्निर्माण त्रुटियों को कम करने पर ध्यान केंद्रित करती हैं, जो कार्यात्मक प्रदर्शन को कम करती हैं, CALR कार्यात्मक अवशिष्ट त्रुटियों को ठीक करने के लिए प्रशिक्षित समानांतर निम्न-श्रेणी सुधार मॉड्यूल के साथ SVD का उपयोग करके संपीड़ित परतों को संयोजित करके इस समस्या का समाधान करता है। SmolLM2-135M, Qwen3-0.6B, और Llama-3.2-1B जैसे मॉडलों पर प्रायोगिक परिणाम दर्शाते हैं कि CALR मूल मॉडल प्रदर्शन के क्रमशः 59.45% और 90.42% को बनाए रखते हुए, क्रमशः 26.93% और 51.77% तक मापदंडों की संख्या को कम करता है यह दर्शाता है कि कार्यात्मक सूचना हानि को सीखने योग्य संकेत के रूप में मानना एक प्रभावी संपीड़न प्रतिमान है।
