यह पत्र संवेदनशील, कॉपीराइट या अन्यथा आपत्तिजनक सामग्री को याद रखने वाले विशाल डेटासेट पर प्रशिक्षित बड़े पैमाने पर भाषा मॉडल (एलएलएम) की समस्या को हल करने के लिए एक मजबूत अनलर्निंग फ्रेमवर्क, ओब्लिविएट का प्रस्ताव करता है। ओब्लिविएट तीन घटकों से युक्त कस्टम लॉस फ़ंक्शन का उपयोग करके लक्ष्य टोकन निष्कर्षण, रखरखाव डेटासेट निर्माण और फ़ाइन-ट्यूनिंग की एक संरचित प्रक्रिया का पालन करता है: मास्किंग, ज्ञान आसवन और विश्व ज्ञान। यह अनलर्निंग गुणवत्ता से समझौता किए बिना दक्षता बनाए रखने के लिए एक निम्न-रैंक एडाप्टर (LoRA) का उपयोग करता है। हैरी पॉटर श्रृंखला, WMDP और TOFU सहित विभिन्न डेटासेट पर प्रयोग किए जाते हैं, जिसमें एक उपन्यास दस्तावेज़-स्तरीय रिकॉल स्कोर सहित भूलने की गुणवत्ता, मॉडल उपयोगिता और प्रवाह जैसे व्यापक मैट्रिक्स का उपयोग किया जाता है।
