Bài báo này trình bày LoRA-XS, một phương pháp tinh chỉnh hiệu quả tham số mới để giải quyết các hạn chế của LoRA, vốn gặp khó khăn về lưu trữ và tính toán khi triển khai các mô-đun cho nhiều tác vụ hoặc người dùng khác nhau. LoRA-XS giảm đáng kể số lượng tham số có thể đào tạo bằng cách kết hợp các ma trận trọng số có thể đào tạo nhỏ giữa các ma trận hạng thấp cố định thu được từ phân tích giá trị kỳ dị (SVD) của các trọng số được đào tạo trước. So với LoRA trong mô hình 7B, nó giảm yêu cầu lưu trữ hơn 100 lần và mở rộng từ một tham số trên mỗi mô-đun đến bất kỳ kích thước tùy ý nào. Các đánh giá trên GLUE, GSM8K, MATH và các chuẩn mực suy luận thông thường chứng minh rằng LoRA-XS có độ chính xác ngang bằng hoặc tốt hơn LoRA và VeRA, đồng thời mang lại hiệu quả tham số vượt trội. Các thí nghiệm bổ sung làm nổi bật tầm quan trọng của các vectơ kỳ dị chứng minh tính hữu ích của LoRA-XS như một giải pháp mạnh mẽ và hiệu quả về lưu trữ để mở rộng quy mô và cá nhân hóa các mô hình ngôn ngữ quy mô lớn.
