Cet article souligne l'importance de la personnalisation dans le contexte des assistants IA personnalisés, en particulier des modèles d'IA privés exploitant les données privées des utilisateurs. Nous nous concentrons sur l'évaluation de la capacité des modèles d'IA à accéder aux données privées des utilisateurs et à les interpréter (par exemple, l'historique des conversations, les interactions utilisateur-IA, l'historique d'utilisation des applications) afin de comprendre leurs informations personnelles (par exemple, leurs informations biographiques, leurs préférences, leurs relations sociales, etc.). Conscients de la disponibilité limitée des ensembles de données accessibles au public en raison de leur nature sensible, nous présentons un pipeline de génération de données synthétiques qui génère des documents privés simulant des profils d'utilisateurs et des activités personnelles diversifiés et réalistes. Sur cette base, nous proposons un benchmark, PersonaBench, pour évaluer les performances des modèles d'IA qui comprennent les informations privées extraites de données d'utilisateurs privées simulées. À l'aide d'un pipeline de génération augmentée de récupération (RAG), nous évaluons les performances des modèles d'IA qui comprennent les informations privées extraites de données d'utilisateurs privées simulées. Nos résultats révèlent que les modèles d'IA actuels basés sur RAG ont du mal à extraire des informations personnelles des documents des utilisateurs et à répondre à des questions privées, soulignant la nécessité de méthodologies améliorées pour améliorer les capacités de personnalisation de l'IA.
