Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Transferrable Surrogates in Expressive Neural Architecture Search Spaces

Created by
  • Haebom

作者

Shiwen Qin, Gabriela Kadlecov a, Martin Pil at, Shay B. Cohen, Roman Neruda, Elliot J. Crowley, Jovita Lukasik, Linus Ericsson

概要

本論文は、ニューラルネットワーク構造探索(NAS)における表現力豊かな探索空間と効率的な構造評価とのバランスをとる問題を扱います。文脈自由文法ベースの高表現力NASナビゲーション空間で、サロゲートモデルのトレーニングを通じてナビゲーション改善を研究します。ゼロコストプロキシ指標とニューラルグラフ機能(GRAF)を使用するか、既存の言語モデル(LM)を微調整することで、トレーニングされたサロゲートモデルはデータセット内外でアーキテクチャのパフォーマンスを高い予測力で予測できます。また、これらのサロゲートモデルを使用して、新しいデータセットでのナビゲーションに不適切なアーキテクチャをフィルタリングすることで、ナビゲーション速度を大幅に向上させ、最終的なパフォーマンスを向上させることができます。

Takeaways、Limitations

Takeaways:
ゼロコストプロキシ指標とGRAFまたは微調整された既存のLMを使用したサロゲートモデルは、NASナビゲーション空間でアーキテクチャのパフォーマンスを効果的に予測できることを実証しました。
サロゲートモデルを使用して、新しいデータセットでのナビゲーションを高速化し、最終的なパフォーマンスを向上させることができます。
サロゲートモデルを直接探索目標として使用して、探索速度を劇的に向上させることができます。
Limitations:
サロゲートモデルの予測精度の追加分析が必要になる場合があります。
さまざまなタイプのNASナビゲーションスペースの一般化パフォーマンス評価が必要な場合があります。
使用されたサロゲートモデルの具体的な構造と訓練プロセスの詳細な説明が不足する可能性があります。
👍