Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

APTx Neuron: A Unified Trainable Neuron Architecture Integrating Activation and Computation

Created by
  • Haebom

作者

Ravin Kumar

概要

本稿では、非線形活性化と線形変換を単一の学習可能な表現に統合した新しい統合神経計算ユニットであるAPTxニューロンを提案します。 APTxニューロンはAPTx活性化関数から派生し、別々の活性化層を必要とせず、計算効率と優雅さの両方を備えたアーキテクチャを作成します。提案されたニューロンは $y = \sum_{i=1}^{n} ((\alpha_i + \tanh(\beta_i x_i)) \cdot \gamma_i x_i) + \delta$ の関数型に従い、すべてのパラメータ $\alpha_i$、$\beta_i$、$\gam MNISTデータセットでAPTxニューロンベースのアーキテクチャを検証し、約332Kの学習可能なパラメータを使用して、わずか20エポックで最大96.69%のテスト精度を達成しました。この結果は、従来のニューロンと比較してAPTxニューロンの優れた表現力と計算効率を強調し、統合ニューロン設計とそれに基づいて構築されたアーキテクチャの新しいパラダイムを提示します。

Takeaways、Limitations

Takeaways:
非線形活性化と線形変換を統合して計算効率を高めた新しいニューロン構造の提示
従来のニューロンより優れた表現力と精度をMNISTデータセット実験で検証
統合ニューロン設計のための新しいパラダイム提示
Limitations:
MNISTデータセットは1つだけを使用して検証されているため、他の複雑なデータセットのパフォーマンス検証が必要です
提案されたAPTxニューロンの一般化性能に関するさらなる研究が必要
他のニューロン構造との比較分析をより深く行う必要がある
👍