Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Kolmogorov-Arnold Fourier Networks

Created by
  • Haebom

作者

Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang

概要

Kolmogorov-Arnoldベースの解釈可能ネットワーク(KAN)は強力な理論的表現力を持っていますが、高次元の作業ではパラメータ爆発と高周波特性の捕捉問題に直面しています。この問題を解決するために、本論文は学習可能なランダムフーリエ特徴(RFF)と新しいハイブリッドGELUフーリエ活性化メカニズムを効果的に統合し、パラメータ効率とスペクトル表現能力のバランスをとったKolmogorov-Arnold-Fourierネットワーク(KAF)を提案します。主な技術的貢献は以下の通りです。 (2) 高次元近似作業におけるスペクトル歪みを除去するために学習可能な RFF 初期化戦略を導入する。 (3) トレーニング中に周波数表現を徐々に改善する適応ハイブリッド活性化関数を実装する。包括的な実験は、ビジョン、NLP、オーディオ処理、微分方程式解法を含む様々な分野でのKAFの卓越性を実証し、理論的解釈の可能性と実用性と計算効率を効果的に組み合わせます。

Takeaways、Limitations

Takeaways:
高次元作業におけるKANのパラメータ爆発と高周波特徴捕捉問題を効果的に解決する新しいネットワークアーキテクチャ(KAF)の提示
学習可能なRFF初期化戦略と適応ハイブリッド活性化関数によるスペクトル表現能力の向上とパラメータ効率の確保
ビジョン、NLP、オーディオ処理、微分方程式の解決など、さまざまな分野で優れた性能を実証
理論的解釈の可能性と実用性と計算効率を同時に達成
Limitations:
提案されたKAFの一般化性能に関するさらなる研究が必要
さまざまな高次元データセットのより広範な実験が必要
特定のハイパーパラメータの最適化に関する追加の研究が必要
👍