Arxiv hàng ngày

Đây là trang tổng hợp các bài báo về trí tuệ nhân tạo được xuất bản trên toàn thế giới.
Trang này sử dụng Google Gemini để tóm tắt nội dung và hoạt động phi lợi nhuận.
Bản quyền của các bài báo thuộc về tác giả và tổ chức liên quan; khi chia sẻ, chỉ cần ghi rõ nguồn.

APTx Neuron: Kiến trúc neuron có thể đào tạo thống nhất tích hợp kích hoạt và tính toán

Created by
  • Haebom

Tác giả

Ravin Kumar

Phác thảo

Trong bài báo này, chúng tôi đề xuất một đơn vị tính toán nơ-ron thống nhất mới, nơ-ron APTx, tích hợp các phép kích hoạt phi tuyến tính và các phép biến đổi tuyến tính thành một biểu diễn có thể học được duy nhất. Nơ-ron APTx được suy ra từ hàm kích hoạt APTx và không yêu cầu một lớp kích hoạt riêng biệt, tạo ra một kiến trúc vừa hiệu quả về mặt tính toán vừa tinh tế. Nơ-ron được đề xuất có dạng hàm $y = \sum_{i=1}^{n} ((\alpha_i + \tanh(\beta_i x_i)) \cdot \gamma_i x_i) + \delta$, trong đó tất cả các tham số $\alpha_i$, $\beta_i$, $\gamma_i$ và $\delta$ đều có thể học được. Chúng tôi xác thực kiến trúc dựa trên nơ-ron APTx trên tập dữ liệu MNIST, đạt được độ chính xác kiểm tra lên đến 96,69% chỉ trong 20 kỷ nguyên với khoảng 332 nghìn tham số có thể học được. Những kết quả này làm nổi bật sức mạnh biểu đạt vượt trội và hiệu quả tính toán của tế bào thần kinh APTx so với tế bào thần kinh thông thường, đồng thời gợi ý một mô hình mới cho thiết kế và kiến trúc tế bào thần kinh tích hợp được xây dựng dựa trên chúng.

Takeaways, Limitations

Takeaways:
Một kiến trúc nơ-ron mới giúp cải thiện hiệu quả tính toán bằng cách tích hợp kích hoạt phi tuyến tính và chuyển đổi tuyến tính được trình bày.
Đã đượC xác minh thông qua các thí nghiệm trên tập dữ liệu MNIST rằng nó có sức mạnh biểu đạt và độ chính xác vượt trội so với các tế bào thần kinh hiện có.
Trình bày một mô hình mới cho thiết kế nơ-ron tích hợp
_____T84303____-:
Chỉ xác thực bằng tập dữ liệu MNIST, cần xác thực hiệu suất trên các tập dữ liệu phức tạp khác.
Cần có thêm nhiều nghiên cứu về hiệu suất tổng quát của các tế bào thần kinh APTx được đề xuất.
Phân tích so sánh với các cấu trúc nơ-ron khác cần được tiến hành sâu hơn.
👍