Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

LLMDistill4Ads : Utilisation d'encodeurs croisés pour extraire les signaux LLM et recommander des mots-clés aux annonceurs sur eBay

Created by
  • Haebom

Auteur

Soumik Dey, Benjamin Braun, Naveen Ravipati, Hansi Wu, Binbin Li

Contour

Cet article étudie l'amélioration d'un système de recommandation de mots clés afin d'optimiser les performances des campagnes publicitaires des vendeurs eBay. Le modèle de recherche basé sur l'intégration (EBR) existant étant sujet à un biais lié aux données de clics, nous proposons un processus de distillation LLM en deux étapes, utilisant un modèle de langage à grande échelle (LLM) comme juge pour éliminer ce biais. Tout d'abord, nous extrayons les connaissances du juge LLM à l'aide d'un encodeur croisé comme étape intermédiaire, puis nous distillons ces connaissances dans un modèle de bi-encodeur par apprentissage multitâche. Enfin, nous utilisons le modèle de bi-encodeur distillé pour recommander des mots clés pertinents aux vendeurs. Les résultats expérimentaux démontrent que la méthode proposée améliore les performances du bi-encodeur, qui recherche des mots clés pertinents pour les vendeurs sur eBay.

Takeaways, Limitations

Takeaways:
Nous démontrons que le biais du modèle EBR peut être efficacement éliminé grâce à la technique de distillation des connaissances utilisant LLM.
Nous présentons une méthode efficace pour améliorer les performances des modèles bi-encodeurs grâce à l'apprentissage multi-tâches.
Cela peut aider à améliorer les performances des campagnes publicitaires des vendeurs sur les grandes plateformes de commerce électronique telles qu'eBay.
Limitations:
En raison de la forte dépendance à l’égard du juge LLM, les résultats peuvent être affectés par la performance du LLM.
De grands ensembles de données et de grandes ressources informatiques peuvent être nécessaires.
L’expérience était spécifique à l’environnement eBay et sa généralisabilité à d’autres plateformes nécessite un examen.
Il se peut qu’il y ait un manque de discussion sur la partialité des juges de LLM eux-mêmes.
👍