Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

AdaRing: Hướng tới khả năng thích ứng ngôn ngữ thị giác siêu nhẹ thông qua phân tích vòng tenxơ xuyên lớp

Created by
  • Haebom

Tác giả

Ying Huang, Yuanbin Man, Wenqi Jia, Zhengzhong Tu, Junzhou Huang, Miao Yin

Phác thảo

Bài báo này đề xuất AdaRing, một khuôn khổ tinh chỉnh dựa trên bộ điều hợp để áp dụng hiệu quả các mô hình ngôn ngữ thị giác (VLM) được huấn luyện trước quy mô lớn cho nhiều tác vụ con khác nhau. Các phương pháp tinh chỉnh dựa trên bộ điều hợp hiện có tích hợp bộ điều hợp vào tất cả các lớp để tăng dung lượng bộ điều hợp. Tuy nhiên, chúng bỏ qua sự dư thừa giữa các lớp, hạn chế tỷ lệ nén và hạn chế sức mạnh biểu đạt của các bộ điều hợp đồng nhất. AdaRing đạt được khả năng thích ứng hiệu quả về tham số siêu nhẹ của VLM bằng cách tích hợp và cộng tác nhiều bộ điều hợp dựa trên Phân tích Vòng Tensor (TRD) giữa các lớp. Để loại bỏ sự dư thừa cao giữa các bộ điều hợp giữa các lớp, chúng tôi tận dụng hạng thấp cấp độ tensor để chính thức hóa các bộ điều hợp thành các lõi tensor dùng chung giữa các lớp và các lát cắt cụ thể cho từng lớp. Hơn nữa, sau khi tinh chỉnh nhận biết khái quát hóa, nhiều bộ điều hợp dựa trên lớp khác nhau sẽ cộng tác để xử lý các tác vụ yêu cầu các biểu diễn khác nhau. Kết quả thử nghiệm chứng minh rằng AdaRing đạt được hiệu suất tiên tiến đồng thời giảm 90% yêu cầu tham số huấn luyện trung bình.

Takeaways, Limitations

Takeaways:
Chúng tôi trình bày một khuôn khổ tinh chỉnh VLM hiệu quả về tham số siêu nhẹ giúp cải thiện tỷ lệ nén bằng cách xem xét tính dự phòng giữa các lớp.
Nâng cao khả năng biểu đạt cho nhiều nhiệm vụ khác nhau thông qua sự hợp tác với nhiều bộ điều hợp khác nhau.
ĐạT được hiệu suất vượt trội trong khi giảm 90% thông số đào tạo.
Limitations:
Hiệu suất của AdaRing được đề xuất có thể bị giới hạn ở các VLM và nhiệm vụ phụ cụ thể.
Chi phí tính toán có thể tăng do tính phức tạp của quá trình phân tích vòng tenxơ.
Cần có thêm phân tích về hiệu quả của việc tinh chỉnh nhận thức khái quát.
👍