Bài báo này đề xuất FedSEA-LLaMA, một mô hình phân vùng liên bang dựa trên bộ biến đổi cho các môi trường học tập liên bang, nhằm tận dụng dữ liệu riêng tư để cải thiện hiệu suất của các mô hình ngôn ngữ quy mô lớn (LLM) đồng thời giải quyết các vấn đề về silo dữ liệu và nhu cầu tính toán cao. FedSEA-LLaMA đảm bảo quyền riêng tư dữ liệu bằng cách phân phối hầu hết các tham số mô hình đến các máy chủ (hoặc máy khách phân tán), với chỉ một phần nhỏ được lưu trữ trên máy khách. Để giải quyết các hạn chế của các mô hình phân vùng liên bang hiện có, chẳng hạn như lỗ hổng bảo mật của mã hóa P2P, chi phí truyền thông cao do học tập và suy luận tuần tự, và vấn đề về điểm phân chia cố định, chúng tôi đề xuất truyền vector an toàn thông qua phương pháp tiêm nhiễu Gauss, giảm chi phí truyền thông thông qua nén mặt nạ chú ý và cộng tác bộ đệm KV, và điều chỉnh điểm phân chia động bởi người dùng. Kết quả thực nghiệm về hiểu ngôn ngữ tự nhiên, tóm tắt và các tác vụ trả lời câu hỏi hội thoại cho thấy FedSEA-LLaMA đạt được tốc độ huấn luyện và suy luận nhanh gấp tám lần so với LLaMA2 tập trung mà không làm giảm hiệu suất. Hơn nữa, chúng tôi chứng minh tính bảo mật và khả năng thích ứng của nó thông qua phân tích tấn công quyền riêng tư và phân tích các điểm phân chia khác nhau.
