यह अध्ययन मेडिकल इमेज रिपोर्ट टेक्स्ट का उपयोग करके बहु-ऑब्जेक्ट वर्गीकरण हेतु विभेदक गोपनीयता (DP) का उपयोग करते हुए एक बड़े पैमाने के भाषा मॉडल (LLM) को परिष्कृत करने हेतु एक रूपरेखा प्रस्तावित करता है। परिष्कृत करने की प्रक्रिया के दौरान क्षतिपूर्ति शोर को शामिल करके, हमारा उद्देश्य संवेदनशील रोगी डेटा से जुड़े गोपनीयता जोखिमों को कम करना और वर्गीकरण प्रदर्शन को बनाए रखते हुए डेटा रिसाव को रोकना है। 2011 से 2019 तक एकत्रित सार्वजनिक रूप से उपलब्ध MIMIC-CXR चेस्ट रेडियोग्राफ़ और CT-RATE कंप्यूटेड टोमोग्राफी डेटासेट से 50,232 मेडिकल इमेज रिपोर्टों का उपयोग करते हुए, हमने तीन मॉडल आर्किटेक्चर: BERT-मीडियम, BERT-स्मॉल और ALBERT-बेस पर विभेदक गोपनीयता निम्न-आयामी अनुकूलन (DP-LoRA) का उपयोग करके LLM को परिष्कृत किया, ताकि MIMIC-CXR डेटासेट से 14 लेबल और CT-RATE डेटासेट से 18 लेबल वर्गीकृत किए जा सकें। हमने विभिन्न गोपनीयता स्तरों (गोपनीयता बजट = {0.01, 0.1, 1.0, 10.0}) पर भारित F1 स्कोर का उपयोग करके मॉडल के प्रदर्शन का मूल्यांकन किया और गोपनीयता-उपयोगिता ट्रेड-ऑफ़ को मापने के लिए विभिन्न गोपनीयता स्तरों पर मॉडल के प्रदर्शन की तुलना की। प्रायोगिक परिणामों ने दो अलग-अलग डेटासेट और तीन अलग-अलग मॉडलों में स्पष्ट गोपनीयता-उपयोगिता ट्रेड-ऑफ़ का खुलासा किया। मध्यम गोपनीयता गारंटी के तहत, DP फ़ाइन-ट्यून्ड मॉडल ने MIMIC-CXR के लिए 0.88 और CT-RATE के लिए 0.59 का भारित F1 स्कोर हासिल किया, जो गैर-गोपनीयता-संरक्षण LoRA बेसलाइन मॉडल (क्रमशः 0.90 और 0.78) के अपेक्षाकृत समान प्रदर्शन को प्रदर्शित करता है।
