본 논문은 eBay 판매자의 광고 캠페인 성능 향상을 위해 키워드를 추천하는 시스템을 개선하는 연구입니다. 기존의 키워드 추천 시스템은 클릭 데이터의 편향성으로 인해 부정확한 결과를 초래할 수 있으므로, 이를 해결하기 위해 대규모 언어 모델(LLM)을 활용한 두 단계의 지식 증류(distillation) 과정을 제안합니다. 먼저, 크로스 인코더 기반의 LLM을 통해 판매자의 판단을 모방하고, 이를 바탕으로 바이 인코더 모델을 다중 작업 학습을 통해 학습시켜 키워드를 추천합니다. 이를 통해 eBay에서 관련성 높은 광고주 키워드를 검색하는 바이 인코더 성능을 향상시킬 수 있음을 보여줍니다.
