Daily Arxiv

Mustafa Baniodeh, Kratarth Goel, Scott Ettinger, Carlos Fuertes, Ari Seff, Tim Shen, Cole Gulino, Chenjie Yang, Ghassen Jerfel, Dokook Choe, Rui Wang, Benjamin Charrow, Vinutha Kallem, Sergio Casas, Drami Al-Rfou, Benjamin

概要

自律走行分野における共同運動予測と計画作業のためのエンコーダ‐デコーダ自己回帰トランスモデルの系列の経験的スケーリング法則を研究した。 50万時間の運転データセットを使用して、言語モデリングと同様に、モデルのパフォーマンスが総コンピューティング予算の二乗法則関数で向上し、モデルトレーニング損失とモデル評価指標との間に強い相関があることを示しています。最も興味深いのは、閉ループ指標もスケーリングに応じて改善されることであり、これはモデル開発およびボトムアップアプローチに対するオープンループ指標の適合性にとって重要な意味を有する。また、トレーニングコンピューティングに最適化されたモデルのトランスパラメータ数とトレーニングデータサイズの最適スケーリングも検討しました。トレーニングコンピューティングの予算が増加するにつれて、最適なスケーリングにはデータセットサイズより1.5倍速くモデルサイズを増やす必要があることがわかりました。また、推論時間コンピューティングのスケーリングを研究しましたが、ここでより小さなモデルの出力をサンプリングしてクラスタリングすると、より大きなモデルと競争力があり、それ以上の交差点を超えると、より大きなモデルが推論コンピューティング効率がより高くなることがわかりました。全体的に,実験結果は,運動予測および計画モデルの訓練および推論時間スケーリング特性を最適化することが,様々な運転シナリオを解決するために性能を改善する主要な手段であることを示した。最後に、他のエージェントの一般的な記録された運転データを使用して自我エージェントのパフォーマンスを向上させる有用性を簡単に研究しました。

Takeaways、Limitations

•

Takeaways：

◦

モデルのパフォーマンスが総コンピューティング予算の二乗法則関数で向上することを実証的に示します。

◦

モデルトレーニング損失とモデル評価指標間の強い相関関係の発見

◦

閉ループ指標もスケーリングに応じて向上することを確認、開ループ指標の限界を示唆。

◦

トレーニングコンピューティング最適化のためのモデルサイズとデータセットサイズの最適スケーリング戦略を提示します。

◦

小型モデルの出力サンプリングとクラスタリングによる推論時間計算効率の改善の可能性の提示

◦

他のエージェントのデータ活用による自我エージェントのパフォーマンス向上の可能性の提示

•

Limitations：

◦

研究対象は特定の系列の変圧器モデルに限定される。

◦

50万時間の運転データセットの使用、データの一般化の可能性に関するさらなる研究が必要。

◦

閉ループ指標の改善に関する追加の分析と説明の必要性

◦

様々な運転シナリオに対する一般化性能の追加検証が必要

◦

他のエージェントのデータ活用に関するより深い研究が必要です。

PDFを見る

Made with Slashpage