[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Photonic Fabric Platform for AI Accelerators

Created by
  • Haebom

作者

Jing Ding, Trung Diep

概要

本論文は、低遅延、高帯域幅、低エネルギー消費を提供するフォトンベースのスイッチ、およびメモリサブシステムであるPhotonic Fabric™とPhotonic Fabric Appliance™（PFA）を提示します。高帯域幅HBM3Eメモリ、オンモジュール光スイッチ、外部DDR5を2.5D電気光学システムであるパッケージに統合し、最大32TBの共有メモリと115Tbpsの全帯域デジタルスイッチングを提供します。 Photonic Fabric™は、分散AI学習と推論で並列処理戦略をより効率的に実行できるようにします。既存のXPUアクセラレータ設計の固定メモリ演算比を制限するシリコン面積の制約を解決する。 XPUのローカルHBMスタックをPhotonic Fabricに接続されたチップレットと交換して、メモリ容量と帯域幅を拡張します。 NVIDIA H100およびH200システムで実証された軽量分析シミュレータCelestiSimを使用して、GPUコア設計を変更せずにPFAでLLM推論性能と省エネ効果を評価しました。シミュレーションの結果、405BパラメータLLM推論で最大3.66倍のスループットと1.40倍の遅延時間の改善、1Tパラメータで最大7.04倍のスループットと1.41倍の遅延時間の改善、すべてのLLM学習シナリオでデータ移動エネルギー消費が60〜90％削減されました。 NVIDIA GPUの結果ですが、同じメモリ操作制約を持つ他のAIアクセラレータ設計（XPU）にも同様に適用可能です。

Takeaways、Limitations

•
Takeaways：
◦
固定メモリ‐演算比の限界を克服する新しい光子ベースのアーキテクチャの提示
◦
LLM推論と学習性能とエネルギー効率を大幅に向上させる可能性を提示(最大7倍以上のスループット向上と60-90%省エネ)
◦
さまざまなXPUアーキテクチャに適用可能
◦
軽量分析シミュレータCelestiSimによる効率的な性能評価
•
Limitations：
◦
現在はシミュレーション結果に基づいており、実際の実装と検証が必要です。
◦
PFAの実際の実装コストと複雑さの分析不足
◦
さまざまなXPUアーキテクチャの一般化の可能性を実際に検証する必要があります。
◦
CelestiSimシミュレータの精度と限界の追加レビューが必要です。
👍
Made with Slashpage