यह पत्र व्यक्तिगत एआई सहायकों, विशेष रूप से निजी एआई मॉडल जो निजी उपयोगकर्ता डेटा का लाभ उठाते हैं, के संदर्भ में निजीकरण के महत्व पर प्रकाश डालता है। हम उपयोगकर्ताओं की निजी जानकारी (जैसे, जीवनी संबंधी जानकारी, प्राथमिकताएं, सामाजिक संबंध, आदि) को समझने के लिए उपयोगकर्ताओं के निजी डेटा (जैसे, वार्तालाप इतिहास, उपयोगकर्ता-एआई इंटरैक्शन, ऐप उपयोग इतिहास) तक पहुँचने और उसकी व्याख्या करने हेतु एआई मॉडल की क्षमता के मूल्यांकन पर ध्यान केंद्रित करते हैं। इन आंकड़ों की संवेदनशील प्रकृति के कारण सार्वजनिक रूप से उपलब्ध डेटासेट की सीमित उपलब्धता को स्वीकार करते हुए, हम एक सिंथेटिक डेटा जनरेशन पाइपलाइन प्रस्तुत करते हैं जो ऐसे निजी दस्तावेज़ तैयार करती है जो विविध और यथार्थवादी उपयोगकर्ता प्रोफाइल और व्यक्तिगत गतिविधियों का अनुकरण करते हैं। इसके आधार पर, हम एक बेंचमार्क, पर्सोनाबेंच, प्रस्तावित करते हैं, ताकि नकली निजी उपयोगकर्ता डेटा से निकाली गई निजी जानकारी को समझने वाले एआई मॉडल के प्रदर्शन का मूल्यांकन किया जा सके। रिट्रीवल-ऑगमेंटेड जेनरेशन (आरएजी) पाइपलाइन का उपयोग करके, हम उन एआई मॉडल के प्रदर्शन का मूल्यांकन करते हैं जो नकली निजी उपयोगकर्ता डेटा से निकाली गई निजी जानकारी को समझते हैं। हमारे परिणामों से पता चलता है कि वर्तमान आरएजी-आधारित एआई मॉडल उपयोगकर्ता के दस्तावेजों से व्यक्तिगत जानकारी निकालने और निजी प्रश्नों का उत्तर देने में संघर्ष करते हैं, जिससे एआई की निजीकरण क्षमताओं को बढ़ाने के लिए बेहतर कार्यप्रणाली की आवश्यकता पर प्रकाश पड़ता है।
