Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới. Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận. Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.
Chỉnh sửa hiệu quả các mô hình hỗn hợp chuyên gia với các chuyên gia được nén
Created by
Haebom
Tác giả
Yifei He, Yang Liu, Chen Liang, Hany Hassan Awadalla
Phác thảo
Bài báo này đề xuất khái niệm về các chuyên gia nén để mở rộng hiệu quả các mô hình Hỗn hợp Chuyên gia (MoE). Các mô hình MoE hiện tại chỉ kích hoạt một tập hợp con các chuyên gia trong quá trình huấn luyện và suy luận, nhưng không phải tất cả các chuyên gia được kích hoạt đều đóng góp như nhau vào hiệu suất. Nghiên cứu này đề xuất một phương pháp để giảm số lượng tham số hoạt động và giảm chi phí suy luận bằng cách thay thế các chuyên gia không đáng kể bằng các mô-đun nén, nhẹ. Kết quả thử nghiệm sử dụng các mô hình Phi-MoE và OLMoE chứng minh rằng các chuyên gia nén phục hồi hơn 90% hiệu suất chuyên gia đầy đủ trong khi giảm hơn 30% các tham số hoạt động và hơn 20% chi phí suy luận. Điều này cho phép triển khai hiệu quả các mô hình MoE trong môi trường hạn chế tài nguyên và mở rộng chúng sang các mô hình lớn hơn. Mã có thể được tìm thấy tại https://github.com/yifei-he/Compressed-Experts .
