Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Enhancing Generalization of Spiking Neural Networks Through Temporal Regularization

Created by
  • Haebom

作者

Boxuan Zhang, Zhen Xu, Kuan Tao

概要

本稿では、イベントベースのニューロモルフィックデータ処理に効果的なスパイキングニューラルネットワーク(SNN)の過適合問題を解決するために、時間依存正規化メカニズムを導入した時間正規化トレーニング(TRT)方法を提案します。ニューロモルフィックデータセットの限られた規模と傾きの不一致の問題のために直接訓練されたSNNは、過適合問題に深刻に苦しんでいます。 CIFAR10/100、ImageNet100、DVS-CIFAR10、N-Caltech101データセットにおけるTRTの性能を最先端の方法と比較し、損失地形の可視化と学習曲線分析を含むablation studyによるTRTの効果を検証します。また、Fisher情報分析の結果に基づいて、TRTの時間正規化メカニズムの理論的解釈を提示し、TRTトレーニングの過程でFisher情報を追跡して時間情報集中(TIC)現象を明らかにします。これは、Fisher情報が初期時間段階に徐々に集中する現象であり、TRTの時間減衰正規化メカニズムが豊富な情報を持つ初期時間段階で強力な特徴を学習するようにネットワークを導き、モデルの一般化性能を向上させることを示しています.ソースコードはFitHubに公開されています。

Takeaways、Limitations

Takeaways:
SNNsの過適合問題を効果的に緩和する新しい訓練方法(TRT)の提示
時間正規化メカニズムによる初期時間ステップの重要性を強調し,一般化性能を向上
Fisher情報解析によるTRTの理論的根拠の提示と時間情報集中(TIC)現象の発見
さまざまなデータセットで最先端のパフォーマンスを達成し、ソースコードを公開
Limitations:
提案された方法の有効性は、特定のデータセットとネットワーク構造に限定される可能性があります。
TRTのハイパーパラメータ最適化の詳細な議論の欠如
時間正規化メカニズムの一般化の可能性に関するさらなる研究の必要性
👍