Este estudio investiga los mecanismos y factores de memoria en modelos lingüísticos a gran escala (LLM) optimizados, centrándose en las preocupaciones sobre la privacidad en el ámbito sanitario. Utilizando el conjunto de datos PHEE de eventos de farmacovigilancia, examinamos cómo diversos aspectos del proceso de optimización afectan la tendencia del modelo a memorizar datos de entrenamiento. Detectamos datos memorizados mediante dos métodos principales: ataques de inferencia de pertenencia y una tarea de generación mediante prefijos de indicaciones. Analizamos la aplicación de diferentes matrices de ponderación en arquitecturas de transformadores, la relación entre perplejidad y memorización, y el efecto del aumento de rango en la optimización de la Adaptación de Bajo Rango (LoRA). Los hallazgos clave incluyen: (1) las matrices de valor y salida contribuyen más a la memorización que las matrices de consulta y clave; (2) una menor perplejidad en los modelos optimizados conlleva una mayor memorización; y (3) rangos LoRA más altos conllevan una mayor memorización, pero con rendimientos decrecientes. Estos hallazgos proporcionan información sobre el equilibrio entre el rendimiento del modelo y los riesgos para la privacidad en LLM optimizados. Los hallazgos de este estudio brindan orientación para desarrollar estrategias más efectivas y responsables en la aplicación de modelos lingüísticos a gran escala y al mismo tiempo gestionar las preocupaciones sobre la privacidad de los datos.
