Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Zero-Shot Neural Architecture Search with Weighted Response Correlation

Created by
  • Haebom

作者

Kun Jing, Luoyu Chen, Jungang Xu, Jianwei Tai, Yiyu Wang, Shuaimin Li

概要

この論文では、ニューラルネットワーク構造の自動設計のための新しいゼロショットニューラルネットワーク構造探索(NAS)方法を紹介します。既存のゼロショットNAS法の効率性、安定性、一般性の限界を克服するために、重み付け応答相関(WRCor)という新しい訓練なしに推定できるプロキシを提案します。 WRCorは、異なる入力サンプルに対する応答の相関係数行列を利用して推定構造のプロキシスコアを計算し、表現力と一般化性能を測定します。実験の結果,WRCorと投票ベースのプロキシは,既存のプロキシより効率的な推定戦略であることを示した。 ImageNet-1kデータセットは、4 GPU時間内に22.1%のテストエラーレートを達成する構造を発見しました。ソースコードは公に提供されます。

Takeaways、Limitations

Takeaways:
既存のゼロショットNAS法の限界を克服する新しいプロキシ(WRCor)提案
WRCorを用いたゼロショットNASアルゴリズムは従来のNASアルゴリズムより優れた性能を示した
効率的なナビゲーションにより、ImageNet-1kで短時間で高性能の構造を発見
ソースコード開示による再現性と拡張性の確保
Limitations:
WRCorプロキシの一般化パフォーマンスの追加検証が必要
さまざまなデータセットと操作に追加の実験が必要
特定のナビゲーション戦略の依存性評価が必要
👍