本論文では、Proximal Policy Optimization（PPO）アルゴリズムのGeneralized Advantage Estimation（GAE）ステップを最適化するように設計されたFPGAベースのアクセラレータであるHEPPO-GAEを紹介します。従来のtrajectory collectionおよびactor-criticアップデートに焦点を当てたアプローチとは異なり、HEPPO-GAEは、シングルシステムオンチップ（SoC）に実装された並列パイプラインアーキテクチャを介してGAEの計算要件を解決します。さまざまなPPO段階にカスタマイズされたハードウェアアクセラレータを適用できるように設計されており、動的補償標準化と値に対するブロック標準化を組み合わせた戦略的標準化技術と8ビット均一量子化により学習安定性を高め、パフォーマンスを向上させ、メモリボトルネックを管理してメモリ使用量を4倍減少させ、累積補償を1.5倍増加させた。プログラマブルロジックと組み込みプロセッサを備えた単一のSoCデバイスでのソリューションを提案し、従来のCPU-GPUシステムよりもはるかに高いスループットを提供し、通信遅延時間とスループットのボトルネックを最小限に抑え、PPO学習効率を大幅に向上させます。実験結果は、ＰＰＯ速度が３０％増加し、メモリアクセス時間が大幅に減少し、ハードウェア効率的な強化学習アルゴリズムに対するＨＥＰＰＯ−ＧＡＥの広範な適用可能性を示す。
