Nghiên cứu này đề xuất một khuôn khổ để tinh chỉnh mô hình ngôn ngữ quy mô lớn (LLM) sử dụng quyền riêng tư khác biệt (DP) cho phân loại đa đối tượng sử dụng văn bản báo cáo hình ảnh y tế. Bằng cách đưa nhiễu bù vào quá trình tinh chỉnh, chúng tôi mong muốn giảm thiểu rủi ro quyền riêng tư liên quan đến dữ liệu bệnh nhân nhạy cảm và ngăn chặn rò rỉ dữ liệu trong khi vẫn duy trì hiệu suất phân loại. Sử dụng 50.232 báo cáo hình ảnh y tế từ các bộ dữ liệu chụp X-quang ngực MIMIC-CXR và chụp cắt lớp vi tính CT-RATE được công bố rộng rãi, được thu thập từ năm 2011 đến năm 2019, chúng tôi đã tinh chỉnh LLM bằng phương pháp thích ứng chiều thấp quyền riêng tư khác biệt (DP-LoRA) trên ba kiến trúc mô hình: BERT-trung bình, BERT-nhỏ và ALBERT-cơ sở, để phân loại 14 nhãn từ bộ dữ liệu MIMIC-CXR và 18 nhãn từ bộ dữ liệu CT-RATE. Chúng tôi đã đánh giá hiệu suất mô hình bằng cách sử dụng điểm F1 có trọng số ở nhiều mức độ riêng tư khác nhau (ngân sách riêng tư = {0,01, 0,1, 1,0, 10,0}) và so sánh hiệu suất mô hình trên các mức độ riêng tư khác nhau để định lượng sự đánh đổi giữa quyền riêng tư và tiện ích. Kết quả thử nghiệm cho thấy sự đánh đổi rõ ràng giữa quyền riêng tư và tiện ích trên hai tập dữ liệu khác nhau và ba mô hình khác nhau. Trong điều kiện đảm bảo quyền riêng tư ở mức độ vừa phải, mô hình tinh chỉnh DP đạt được điểm F1 có trọng số là 0,88 đối với MIMIC-CXR và 0,59 đối với CT-RATE, thể hiện hiệu suất tương đối giống với các mô hình cơ sở LoRA không bảo toàn quyền riêng tư (lần lượt là 0,90 và 0,78). Tóm lại, việc tinh chỉnh bảo toàn quyền riêng tư khác biệt bằng LoRA cho phép phân loại nhiều bệnh hiệu quả và bảo toàn quyền riêng tư, giải quyết những thách thức chính của việc tinh chỉnh LLM trên dữ liệu y tế nhạy cảm.
