Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

Mạng Fourier Kolmogorov-Arnold

Created by
  • Haebom

Tác giả

Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang

Phác thảo

Mặc dù mạng có thể diễn giải (KAN) dựa trên Kolmogorov-Arnold sở hữu khả năng biểu đạt lý thuyết mạnh mẽ, nhưng chúng phải đối mặt với các vấn đề bùng nổ tham số và nắm bắt đặc trưng tần số cao trong các tác vụ có nhiều chiều. Để giải quyết những thách thức này, bài báo này đề xuất một mạng Kolmogorov-Arnold-Fourier (KAF) tích hợp hiệu quả các đặc trưng Fourier ngẫu nhiên có thể học được (RFF) và một cơ chế kích hoạt GELU-Fourier lai mới để cân bằng hiệu quả tham số và khả năng biểu diễn phổ. Những đóng góp chính của chúng tôi bao gồm: (1) giảm đáng kể các tham số bằng cách hợp nhất cấu trúc ma trận kép của KAN với đặc tính ghép ma trận; (2) giới thiệu một chiến lược khởi tạo RFF có thể học được để loại bỏ méo phổ trong các tác vụ xấp xỉ nhiều chiều; và (3) triển khai một hàm kích hoạt lai thích ứng cải thiện dần khả năng biểu diễn tần số trong quá trình đào tạo. Các thí nghiệm toàn diện chứng minh tính ưu việt của KAF trên nhiều lĩnh vực, bao gồm thị giác, NLP, xử lý âm thanh và các tác vụ giải phương trình vi phân, kết hợp hiệu quả khả năng diễn giải lý thuyết với tính thực tiễn và hiệu quả tính toán.

Takeaways, Limitations

Takeaways:
Chúng tôi trình bày một kiến ​​trúc mạng mới (KAF) có hiệu quả giải quyết vấn đề bùng nổ tham số và nắm bắt tính năng tần số cao của KAN trong các tác vụ có nhiều chiều.
Cải thiện hiệu quả biểu diễn phổ và tham số thông qua các chiến lược khởi tạo RFF có thể học được và các hàm kích hoạt lai thích ứng.
Thể hiện hiệu suất tuyệt vời trong nhiều lĩnh vực như thị giác, NLP, xử lý âm thanh và giải phương trình vi phân.
ĐồNg thời đạt được khả năng diễn giải lý thuyết, tính thực tiễn và hiệu quả tính toán.
Limitations:
Cần có thêm nghiên cứu về hiệu suất tổng quát của KAF được đề xuất.
Cần có những thử nghiệm mở rộng hơn trên nhiều tập dữ liệu đa chiều.
Cần nghiên cứu thêm về tối ưu hóa siêu tham số cụ thể.
👍