यह अध्ययन स्वास्थ्य सेवा क्षेत्र में गोपनीयता संबंधी चिंताओं पर केंद्रित, परिष्कृत वृहत्-स्तरीय भाषा मॉडल (LLM) में स्मृति तंत्र और कारकों की जाँच करता है। फार्माकोविजिलेंस घटनाओं के PHEE डेटासेट का उपयोग करते हुए, हम जाँच करते हैं कि परिष्कृतीकरण प्रक्रिया के विभिन्न पहलू प्रशिक्षण डेटा को याद रखने की मॉडल की प्रवृत्ति को कैसे प्रभावित करते हैं। हम दो मुख्य विधियों का उपयोग करके याद किए गए डेटा का पता लगाते हैं: सदस्यता अनुमान हमले और प्रॉम्प्ट उपसर्गों का उपयोग करके एक जनरेशन कार्य। हम ट्रांसफ़ॉर्मर आर्किटेक्चर में विभिन्न वेट मैट्रिसेस के अनुप्रयोग, पेरप्लेक्सिटी और मेमोराइजेशन के बीच संबंध, और लो-रैंक अडेप्टेशन (LoRA) फाइन-ट्यूनिंग में रैंक बढ़ाने के प्रभाव का विश्लेषण करते हैं। प्रमुख निष्कर्षों में शामिल हैं: (1) मान और आउटपुट मैट्रिसेस, क्वेरी और कुंजी मैट्रिसेस की तुलना में मेमोराइजेशन में अधिक योगदान देते हैं; (2) परिष्कृत मॉडलों में कम पेरप्लेक्सिटी से मेमोराइजेशन बढ़ता है; और (3) उच्च LoRA रैंक से मेमोराइजेशन बढ़ता है, लेकिन घटते प्रतिफल के साथ। ये निष्कर्ष परिष्कृत LLM में मॉडल प्रदर्शन और गोपनीयता जोखिमों के बीच व्यापार-नापसंद की अंतर्दृष्टि प्रदान करते हैं। इस अध्ययन के निष्कर्ष डेटा गोपनीयता चिंताओं का प्रबंधन करते हुए बड़े पैमाने पर भाषा मॉडल को लागू करने के लिए अधिक प्रभावी और जिम्मेदार रणनीति विकसित करने के लिए मार्गदर्शन प्रदान करते हैं।
