Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

RapidGNN: Energy and Communication-Efficient Distributed Training on Large-Scale Graph Neural Networks

Created by
  • Haebom

作者

Arefin Niam, Tevfik Kosar, MSQ Zulkar Nine

概要

本稿では、大規模グラフにおけるGNN(Graph Neural Networks)の分散学習の効率を向上させるための新しいフレームワークであるRapidGNNを提案します。従来のサンプリングベースのアプローチは計算負荷を軽減しますが、通信のオーバーヘッドは依然として問題のままです。 RapidGNNは、決定的なサンプリングベースのスケジューリングにより、効率的なキャッシュ構築とリモート機能のプリフェッチを可能にします。ベンチマークグラフデータセットの評価の結果、RapidGNNは従来の方法に比べて平均2.46倍から3.00倍のエンドツーエンドの学習スループット向上を示し、リモートフィーチャーのインポートを9.70倍から15.39倍以上減少させました。また、計算ユニット数の増加に伴いほぼ線形的なスケーラビリティを達成し、CPUとGPUの両方で、従来の方法よりもエネルギー効率をそれぞれ44%と32%向上させました。

Takeaways、Limitations

Takeaways:
大規模グラフにおけるGNNの分散学習効率を大幅に向上させる新しいフレームワークRapidGNNの提示
従来の方法と比較してスループットとエネルギー効率を大幅に改善。
ほぼ直線的な拡張性を示しています。
決定的サンプリングに基づくスケジューリングの効果を実証的に証明した。
Limitations:
提示されたベンチマークデータセットの種類と規模の具体的な説明の欠如。
RapidGNNのパフォーマンス向上が特定のハードウェア環境に依存する可能性。
他の分散学習フレームワークとの比較分析がさらに必要です。
様々なGNNモデルに対する適用性と一般化性能に関するさらなる研究が必要
👍