Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới. Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận. Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.
Mosaic: Cắt tỉa chiếu tổng hợp cho LLM tiết kiệm tài nguyên
Created by
Haebom
Tác giả
Bailey J. Eccles, Leon Wong, Blesson Varghese
Phác thảo
Bài báo này trình bày phương pháp cắt tỉa chiếu (projection pruning), một phương pháp cắt tỉa tinh chỉnh mới, nhằm giải quyết các yêu cầu tính toán và bộ nhớ cao, hạn chế việc triển khai các mô hình ngôn ngữ quy mô lớn (LLM). Để khắc phục những hạn chế của các phương pháp cắt tỉa thô hiện có, chúng tôi đề xuất phương pháp cắt tỉa chiếu tổng hợp, kết hợp cắt tỉa rời rạc (ragged pruning), giúp duy trì độ chính xác, và cắt tỉa hình thức (formal pruning), giúp giảm kích thước mô hình. Dựa trên phương pháp này, chúng tôi phát triển Mosaic, một hệ thống mới để tạo và triển khai các LLM đã cắt tỉa. Chúng tôi đánh giá hiệu suất và các chỉ số chất lượng của hệ thống trên nhiều nền tảng phần cứng, LLM và tập dữ liệu khác nhau. Mosaic tạo ra các mô hình nhanh hơn tới 7,19 lần so với các phương pháp hiện có, đạt được độ phức tạp thấp hơn tới 84,2% và độ chính xác cao hơn 31,4%. Hơn nữa, các mô hình Mosaic thể hiện tốc độ suy luận nhanh hơn tới 67% và mức sử dụng bộ nhớ GPU thấp hơn 68%. Mosaic được cung cấp công khai tại https://github.com/blessonvar/Mosaic .
Chúng tôi trình bày các phương pháp cắt tỉa LLM (cắt tỉa chiếu và cắt tỉa chiếu tổng hợp) nhanh hơn và hiệu quả hơn nhiều so với các phương pháp cắt tỉa thô hiện có.
◦
Cải thiện độ chính xác và hiệu suất của mô hình được tạo ra (giảm độ phức tạp, cải thiện độ chính xác, suy luận nhanh hơn, giảm mức sử dụng bộ nhớ).
◦
Tăng tiềm năng triển khai thực tế của LLM thông qua hệ thống Mosaic được phát triển.
◦
Cải thiện khả năng truy cập bằng cách phát hành hệ thống đã phát triển dưới dạng mã nguồn mở.
•
Limitations:
◦
Các kết quả trình bày trong bài báo này là kết quả đánh giá cho một nền tảng phần cứng, LLM và tập dữ liệu cụ thể và cần nghiên cứu thêm để xác định khả năng khái quát hóa cho các môi trường khác.
◦
Cần nghiên cứu thêm về các thiết lập tham số tối ưu cho việc cắt tỉa hình chiếu và cắt tỉa hình chiếu tổng hợp.
◦
Cần có thêm phân tích so sánh về khả năng áp dụng và hiệu suất cho nhiều loại LLM khác nhau.
