Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

LLMDistill4Ads: Using Cross-Encoders to Distill from LLM Signals for Advertiser Keyphrase Recommendations at eBay

Created by
  • Haebom

作者

Soumik Dey, Benjamin Braun, Naveen Ravipati, Hansi Wu, Binbin Li

概要

この論文は、EBay販売者の広告キャンペーンのパフォーマンスを向上させるためにキーワードを推奨するシステムを改善する研究です。既存の埋め込みベースの検索(EBR)モデルはクリックデータの偏向を持っているため、大規模言語モデル(LLM)を判断者として活用してこれらの偏向を排除する2段階のLLM蒸留プロセスを提案します。まず、クロスエンコーダを中間段階として活用してLLM判断者から知識を抽出し、それをマルチタスク学習を通じてバイエンコーダモデルに蒸留します。最後に、蒸留されたバイエンコーダモデルを使用して、販売者に関連性の高いキーワードをお勧めします。実験の結果、提案された方法は、eBayで売り手に適切なキーワードを検索するバイエンコーダのパフォーマンスを向上させることを示しています。

Takeaways、Limitations

Takeaways:
LLMを利用した知識蒸留技術は、EBRモデルの偏向を効果的に排除できることを示しています。
マルチタスク学習によりバイエンコーダモデルの性能を向上させる効果的な方法を提示する。
EBay などの大規模な e-commerce プラットフォームでの販売者の広告キャンペーンのパフォーマンスの向上に貢献できます。
Limitations:
LLM判断者への依存度が高く、LLMのパフォーマンスによっては結果が影響を受ける可能性があります。
大規模なデータセットとコンピューティングリソースが必要な場合があります。
実験はEBay環境に特化しており、他のプラットフォームへの一般化の可能性の検討が必要です。
LLM 判断者の偏向自体についての議論が不足している可能性がある。
👍