Bài báo này giới thiệu về Khởi tạo LoRA Hiệu chuẩn cho LLM Lượng tử hóa (CLoQ), một phương pháp được sử dụng rộng rãi để tinh chỉnh các mô hình ngôn ngữ quy mô lớn (LLM) cho các tác vụ con hiệu quả trong môi trường hạn chế về tài nguyên. Phương pháp này giải quyết những thách thức vốn có trong việc áp dụng kỹ thuật Thích ứng Hạng thấp (LoRA) cho các LLM lượng tử hóa. CLoQ tập trung vào việc giảm thiểu sự khác biệt giữa các lớp giữa LLM gốc và LLM lượng tử hóa trong giai đoạn khởi tạo. Phương pháp này tận dụng một tập dữ liệu hiệu chuẩn nhỏ để lượng tử hóa các LLM đã được đào tạo trước và xác định các thành phần LoRA tối ưu cho mỗi lớp, từ đó thiết lập một nền tảng vững chắc cho việc tinh chỉnh tiếp theo. Một trong những đóng góp quan trọng của nghiên cứu này là việc trình bày các kết quả lý thuyết mới cho phép xây dựng chính xác và khép kín các thành phần LoRA tối ưu. Chúng tôi chứng minh bằng thực nghiệm hiệu quả của CLoQ trên nhiều tác vụ khác nhau, bao gồm tạo ngôn ngữ, suy luận số học và suy luận theo lẽ thường, chứng minh hiệu suất vượt trội của nó so với các phương pháp tinh chỉnh LoRA hiện có cho các LLM lượng tử hóa, đặc biệt là ở độ rộng bit cực thấp.
