Trong bài báo này, chúng tôi đề xuất LoRA-RITE để giải quyết vấn đề thiếu bất biến tịnh tiến trong các bộ tối ưu hóa hiện có trong tinh chỉnh hiệu quả tham số cho thích ứng bậc thấp (LoRA). LoRA-RITE là một phương pháp tiền xử lý ma trận thích ứng đạt được bất biến tịnh tiến trong khi vẫn duy trì hiệu suất tính toán. Thông qua phân tích lý thuyết và thử nghiệm trên nhiều mô hình và tác vụ LLM khác nhau như Gemma 2B, 7B và mT5-XXL, chúng tôi chứng minh rằng hiệu suất của nó được cải thiện so với các bộ tối ưu hóa hiện có. Ví dụ, khi thay thế Adam bằng LoRA-RITE trong tinh chỉnh LoRA trên Gemma-2B, chúng tôi đạt được độ chính xác cải thiện 4,6% trong các lệnh Siêu tự nhiên và 3,5% trong bốn chuẩn LLM khác (HellaSwag, ArcChallenge, GSM8K và OpenBookQA).
