Este documento estudia la mejora de un sistema de recomendación de palabras clave para optimizar el rendimiento de las campañas publicitarias de los vendedores de eBay. Dado que el modelo de recuperación basada en incrustación (EBR) existente presenta sesgo en los datos de clics, proponemos un proceso de destilación LLM de dos pasos que utiliza un modelo de lenguaje a gran escala (LLM) como juez para eliminar este sesgo. Primero, extraemos conocimiento del juez LLM utilizando un codificador cruzado como paso intermedio y, a continuación, destilamos este conocimiento en un modelo bi-codificador mediante aprendizaje multitarea. Finalmente, utilizamos el modelo bi-codificador destilado para recomendar palabras clave relevantes a los vendedores. Los resultados experimentales demuestran que el método propuesto mejora el rendimiento del bi-codificador, que busca palabras clave relevantes para los vendedores en eBay.
