Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Hyperflux: Việc cắt tỉa cho thấy tầm quan trọng của trọng lượng

Created by
  • Haebom

Tác giả

Eugen Barbulescu, Antonio Alexoaie, Lucian Busoniu

Phác thảo

Bài báo này đề xuất Hyperflux, một kỹ thuật cắt tỉa mạng nhằm giảm độ trễ suy luận và mức tiêu thụ điện năng của mạng nơ-ron. Trong khi các phương pháp cắt tỉa hiện có chủ yếu dựa vào kết quả thực nghiệm, Hyperflux là một phương pháp cắt tỉa L0 mạnh mẽ về mặt khái niệm, ước tính tầm quan trọng của mỗi trọng số như là phản ứng gradient (thông lượng) đối với việc loại bỏ trọng số. Một thuật ngữ áp suất toàn cục liên tục hướng dẫn tất cả các trọng số đến việc cắt tỉa, và các trọng số quan trọng đối với độ chính xác sẽ tự động tăng trở lại theo thông lượng. Trong bài báo này, chúng tôi trình bày và xác thực thực nghiệm một số tính chất có nguồn gốc tự nhiên từ khuôn khổ Hyperflux và thiết kế một bộ lập lịch được kiểm soát bởi độ thưa thớt bằng cách đưa ra một phương trình quy luật tỷ lệ tổng quát mô tả mối quan hệ giữa độ thưa thớt cuối cùng và áp suất. Kết quả thực nghiệm chứng minh các kết quả tiên tiến trên các tập dữ liệu CIFAR-10 và CIFAR-100 sử dụng ResNet-50 và VGG-19.

Takeaways, Limitations

Takeaways:
Không giống như các phương pháp thực nghiệm hiện có, chúng tôi trình bày một phương pháp cắt tỉa L0 rõ ràng về mặt khái niệm để ước tính tầm quan trọng của trọng số thông qua thông lượng.
Kiểm soát độ thưa thớt hiệu quả đạt được bằng cách đưa ra phương trình định luật tỷ lệ tổng quát mô tả mối quan hệ giữa độ thưa thớt và áp suất.
Các thí nghiệm sử dụng bộ dữ liệu CIFAR-10 và CIFAR-100 với các mô hình ResNet-50 và VGG-19 chứng minh hiệu suất tiên tiến.
Limitations:
Hiệu quả của phương pháp đề xuất có thể bị giới hạn ở các cấu trúc mạng và tập dữ liệu cụ thể.
Hiệu suất tổng quát cần được xác minh trên các mạng hoặc tập dữ liệu lớn hơn.
Chi phí tính toán thông lượng có thể tương đối cao.
👍