Multi-Faceted Large Embedding Tables for Pinterest Ads Ranking
Created by
Haebom
저자
Runze Su, Jiayin Jin, Jiacheng Li, Sihan Wang, Guangtong Bai, Zelun Wang, Li Tang, Yixiong Meng, Huasen Wu, Zhimeng Pan, Kungang Li, Han Sun, Zhifang Liu, Haoyang Li, Siping Ji, Degao Peng, Jinfeng Zhuang, Ling Leng, Prathibha Deshikachar
개요
본 논문은 Pinterest 광고 순위 지정 모델에 대규모 임베딩 테이블을 통합하는 과정에서 발생한 문제점과 그 해결책을 제시한다. 초기 시도에서 대규모 임베딩 테이블을 처음부터 학습하는 것이 성과를 내지 못하자, 다양한 사전 학습 알고리즘을 통합한 새로운 다면적 사전 학습 기법을 도입하였다. 이를 통해 임베딩 테이블의 질이 향상되었고, Click-Through Rate (CTR)과 Conversion Rate (CVR) 모두에서 성능이 크게 개선되었다. 또한 GPU 메모리 한계를 극복하고 확장성을 높이기 위해 CPU-GPU 하이브리드 서빙 인프라를 설계하여 Pinterest 광고 시스템에 배포하였으며, CPC 1.34% 감소 및 CTR 2.60% 증가라는 결과를 얻었다. 전체 지연 시간에는 변화가 없었다.
시사점, 한계점
•
시사점:
◦
다면적 사전 학습 기법을 통해 대규모 임베딩 테이블의 성능을 크게 향상시킬 수 있음을 보여줌.
◦
CPU-GPU 하이브리드 서빙 인프라를 통해 대규모 임베딩 테이블의 확장성 문제를 해결할 수 있음을 제시.
◦
Pinterest 광고 시스템에 실제 적용하여 CPC 감소 및 CTR 증가라는 실질적인 성과를 달성.
•
한계점:
◦
제시된 다면적 사전 학습 기법의 구체적인 알고리즘 및 구현 세부 사항에 대한 설명이 부족.
◦
다른 광고 플랫폼이나 추천 시스템에 적용 가능성에 대한 분석이 부족.
◦
CPU-GPU 하이브리드 서빙 인프라의 구체적인 구조 및 성능에 대한 자세한 설명이 부족.
