Este documento destaca la importancia de la personalización en el contexto de los asistentes de IA personalizados, en particular los modelos de IA privados que aprovechan los datos privados de los usuarios. Nos centramos en evaluar la capacidad de los modelos de IA para acceder e interpretar los datos privados de los usuarios (p. ej., historial de conversaciones, interacciones usuario-IA, historial de uso de la aplicación) para comprender la información personal de los usuarios (p. ej., información biográfica, preferencias, relaciones sociales, etc.). Reconociendo la disponibilidad limitada de conjuntos de datos disponibles públicamente debido a la naturaleza sensible de estos datos, presentamos una canalización de generación de datos sintéticos que genera documentos privados que simulan perfiles de usuario diversos y realistas y actividades personales. Con base en esto, proponemos un punto de referencia, PersonaBench, para evaluar el rendimiento de los modelos de IA que comprenden la información privada extraída de datos privados simulados de usuarios. Utilizando una canalización de Recuperación-Generación Aumentada (RAG), evaluamos el rendimiento de los modelos de IA que comprenden la información privada extraída de datos privados simulados de usuarios. Nuestros resultados revelan que los modelos actuales de IA basados en RAG tienen dificultades para extraer información personal de los documentos de los usuarios y responder preguntas privadas, lo que destaca la necesidad de metodologías mejoradas para mejorar las capacidades de personalización de la IA.
