Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

To Judge or not to Judge: Using LLM Judgements for Advertiser Keyphrase Relevance at eBay

작성자
  • Haebom

저자

Soumik Dey, Hansi Wu, Binbin Li

개요

이 논문은 이베이 광고에서 판매자 키워드 관련성 필터 모델을 훈련하는 데 있어 클릭/판매/검색 관련성 신호만 사용하는 것의 단점을 지적하고, 판매자의 판단과의 정합성을 강조한다. 판매자는 키워드 추천을 수용하거나 거부할 수 있기 때문이다. 본 연구는 판매자의 판단, 광고, 검색이라는 세 가지 동적인 시스템 간의 복잡한 상호작용으로 판매자 키워드 관련성을 정의한다. 이베이 광고의 사례 연구를 통해 인간의 판단을 활용하는 실용성을 논의하고, 판매자 판단의 확장 가능한 대리 지표로 LLM을 활용하여 세 시스템 간의 조화를 향상시키는 방법을 제시한다. 이는 비즈니스 지표를 기반으로 한 꼼꼼한 평가 프레임워크를 통해 가능하다.

시사점, 한계점

•
시사점:
◦
판매자 키워드 관련성 필터 모델 훈련에 인간의 판단을 통합하는 중요성을 강조한다.
◦
LLM을 판매자 판단의 확장 가능한 대리 지표로 활용하여 모델 성능을 향상시킬 수 있음을 보여준다.
◦
세 가지 동적인 시스템(판매자 판단, 광고, 검색) 간의 상호작용을 고려한 키워드 관련성 모델링의 필요성을 제시한다.
◦
비즈니스 지표 기반의 엄격한 평가 프레임워크의 중요성을 강조한다.
•
한계점:
◦
LLM을 판매자 판단의 완벽한 대리 지표로 간주할 수 없다는 점. LLM의 판단이 항상 실제 판매자의 판단과 일치하지 않을 수 있다.
◦
사례 연구가 이베이 광고에 국한되어 다른 전자상거래 플랫폼으로의 일반화 가능성에 대한 검토가 필요하다.
◦
평가 프레임워크의 구체적인 내용이 논문에서 충분히 자세히 설명되지 않을 수 있다.
◦
LLM 사용으로 인한 비용 및 연산량 증가에 대한 고려가 필요하다.
👍
Slashpage로 제작됨