Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới. Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận. Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.
LoSiA: Hiệu quả tinh chỉnh cấp cao thông qua định vị và tối ưu hóa mạng con
Created by
Haebom
Tác giả
Hứa Gia Vương, Vân Gia Kỳ, Bân Húc
Phác thảo
Các phương pháp Tinh chỉnh Hiệu quả Tham số (PEFT), chẳng hạn như LoRA, sử dụng ma trận phân rã hệ số thấp để giảm đáng kể số lượng tham số có thể học được. Tuy nhiên, chúng thực hiện nhiều phép nhân ma trận cho các tác vụ miền cụ thể, dẫn đến hiệu suất tính toán và hiệu suất tinh chỉnh kém. Trong bài báo này, chúng tôi đề xuất Thích ứng Tích hợp Mạng Con Tài nguyên Thấp (LoSiA), một phương pháp cải tiến giúp xác định và tối ưu hóa động các tham số quan trọng trong quá trình huấn luyện. Cụ thể, chúng tôi sử dụng phân tích độ thưa của gradient để xác định các mạng con và tối ưu hóa chúng thành các mục tiêu có thể học được. Thiết kế này cho phép thích ứng hệ số cao hiệu quả bằng cách chỉ cập nhật các tham số mạng con, giảm các phép nhân ma trận bổ sung. Chúng tôi cũng trình bày LoSiA-Pro, một phiên bản LoSiA nhanh hơn, giúp giảm độ trễ huấn luyện khoảng 27% so với LoRA. Các đánh giá mở rộng chứng minh rằng phương pháp này yêu cầu thời gian huấn luyện ngắn nhất cho các tác vụ suy luận theo miền cụ thể và theo lẽ thường, đồng thời giảm thiểu sự suy giảm hiệu suất so với tinh chỉnh hoàn toàn. Các phân tích sâu hơn xác nhận rằng LoSiA cũng làm giảm tình trạng quên trong quá trình huấn luyện liên tục. Mã nguồn có thể được tìm thấy tại https://github.com/KlozeWang/LoSiA .
