इस पत्र में, हम अनलर्निंग प्रक्रिया के दौरान होने वाले प्रदर्शन ह्रास को दूर करने के लिए एक उपयोगिता-संरक्षण कोरसेट चयन (UPCORE) ढाँचा प्रस्तावित करते हैं, जिसमें पूर्व-प्रशिक्षित मॉडल से कुछ डेटा बिंदुओं को हटाना या "भूलना" शामिल है, विशेष रूप से बड़े पैमाने के भाषा मॉडल (LLM) में। UPCORE, मॉडल के निरूपणों के प्रसरण से सहसंबद्ध भूल-सेट से आउटलायर्स को हटाकर अनलर्निंग के बाद मॉडल प्रदर्शन ह्रास को कम करता है। तीन मानक अनलर्निंग विधियों में, UPCORE डेटा विलोपन प्रभावशीलता और मॉडल प्रदर्शन संरक्षण के परस्पर विरोधी लक्ष्यों को प्रभावी ढंग से संतुलित करता है, और हम इसे एक नए AUC-आधारित मूल्यांकन मीट्रिक का उपयोग करके प्रदर्शित करते हैं। UPCORE कोरसेट और हटाए गए डेटा बिंदुओं के बीच सकारात्मक स्थानांतरण को बढ़ावा देकर और हटाए गए डेटा बिंदुओं से अन्य डेटा बिंदुओं पर नकारात्मक स्थानांतरण को कम करके प्रदर्शन में सुधार करता है।
