Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Request-Only Optimization for Recommendation Systems

Created by
  • Haebom

作者

Liang Guo, Wei Li, Lucy Liao, Huihui Cheng, Rui Zhang, Yu Shi, Yueming Wang, Yanzun Huang, Keke Zhai, Pengchao Wang, Timothy Shi, Xuan Cao, Shengzhi Wang, Renqin Cai, Zhaojie Gong, Omkar Viyane, Run Liu, Xiong Zhang, Fu Li, Wenlei Xie, Bin Wen, Rui Li, Xing Liu, Jiaqi Zhai

概要

本稿では、大規模な深層学習推薦モデル(DLRM)の効率とパフォーマンスを向上させるための新しい学習およびモデリングパラダイムであるRequest-Only Optimizations(ROO)を紹介します。 ROOは、ユーザー要求をデータ単位で処理し、既存のユーザー露出単位処理方式と比較してデータ記憶スペースを節約し、要求内の複数の露出に対する冗長計算と通信を排除し、スケーラブルなニューラルネットワークアーキテクチャを介してユーザーの関心信号をよりよく取得します。これは、データ(要求専用データ)、インフラストラクチャ(要求専用データ処理パイプライン)、モデルアーキテクチャ(要求専用ニューラルネットワークアーキテクチャ)を共同設計することによって達成されます。特に、生成型推奨モデル(GR)などの要求専用アーキテクチャに有利です。

Takeaways、Limitations

Takeaways:
データストレージの節約:ユーザー要求をデータ単位で処理して重複データを削除します。
学習効率の向上:リクエスト内の複数のインプレッションの冗長計算と通信の削除。
モデルパフォーマンスの向上:スケーラブルなニューラルネットワークアーキテクチャにより、ユーザーの関心のある信号をより正確にキャプチャします。
生成型推奨モデルなどの新しいアーキテクチャの活用可能性の向上。
Limitations:
ROOパラダイムの実際の実装と適用に関する具体的な技術的詳細の欠如
さまざまな種類の推奨システムとデータセットの一般化の可能性に関する追加の検証が必要です。
要求専用アーキテクチャの設計と最適化に関する追加の研究が必要
👍