Nghiên cứu này điều tra các cơ chế và yếu tố bộ nhớ trong các mô hình ngôn ngữ quy mô lớn được tinh chỉnh (LLM), tập trung vào các mối quan ngại về quyền riêng tư trong lĩnh vực chăm sóc sức khỏe. Sử dụng tập dữ liệu PHEE về các sự kiện dược cảnh giác, chúng tôi xem xét cách các khía cạnh khác nhau của quá trình tinh chỉnh ảnh hưởng đến xu hướng ghi nhớ dữ liệu đào tạo của mô hình. Chúng tôi phát hiện dữ liệu đã ghi nhớ bằng hai phương pháp chính: các cuộc tấn công suy luận thành viên và một tác vụ tạo sử dụng tiền tố nhắc. Chúng tôi phân tích ứng dụng của các ma trận trọng số khác nhau trong kiến trúc máy biến áp, mối quan hệ giữa độ phức tạp và khả năng ghi nhớ, và tác động của việc tăng thứ hạng trong tinh chỉnh Thích ứng thứ hạng thấp (LoRA). Những phát hiện chính bao gồm: (1) ma trận giá trị và ma trận đầu ra đóng góp nhiều hơn vào khả năng ghi nhớ so với ma trận truy vấn và ma trận khóa; (2) độ phức tạp thấp hơn trong các mô hình được tinh chỉnh dẫn đến khả năng ghi nhớ tăng lên; và (3) thứ hạng LoRA cao hơn dẫn đến khả năng ghi nhớ tăng lên, nhưng với lợi nhuận giảm dần. Những phát hiện này cung cấp cái nhìn sâu sắc về sự đánh đổi giữa hiệu suất mô hình và rủi ro về quyền riêng tư trong các LLM được tinh chỉnh. Những phát hiện của nghiên cứu này cung cấp hướng dẫn Takeaways để phát triển các chiến lược hiệu quả và có trách nhiệm hơn khi áp dụng các mô hình ngôn ngữ quy mô lớn trong khi quản lý các mối quan ngại về quyền riêng tư dữ liệu.
