Bài báo này tập trung vào học liên bang (FL), cho phép đào tạo các mô hình ngôn ngữ quy mô lớn đa ngôn ngữ (LLM) bằng cách sử dụng dữ liệu đa ngôn ngữ đa dạng và phân tán, đặc biệt là đối với các ngôn ngữ có ít tài nguyên. Cá nhân hóa bằng cách sử dụng các mô-đun tinh chỉnh hiệu quả tham số (PEFT), chẳng hạn như LoRA, thường được sử dụng để cải thiện hiệu suất cụ thể của máy khách. Điều này liên quan đến các chiến lược cá nhân hóa (PS), chẳng hạn như thiết kế các cấu trúc bộ điều hợp PEFT (ví dụ: các lớp để thêm LoRA và thứ hạng của chúng) và lựa chọn các siêu tham số để tinh chỉnh (ví dụ: tốc độ học). Thay vì cấu hình thủ công các PS, bài báo này đề xuất FedP²EFT, một phương pháp học tập-cá nhân hóa liên bang cho các LLM đa ngôn ngữ trong cài đặt FL trên nhiều thiết bị. FedP²EFT cùng học một cấu trúc PEFT được cá nhân hóa tối ưu cho từng máy khách thông qua lựa chọn thứ hạng thưa Bayesian. Các đánh giá trên các điểm chuẩn FL đa ngôn ngữ mô phỏng và thực tế chứng minh rằng FedP²EFT vượt trội đáng kể so với các phương pháp tinh chỉnh cá nhân hóa hiện có và bổ sung cho các phương pháp FL hiện có khác.
