Realizing Scaling Laws in Recommender Systems: A Foundation-Expert Paradigm for Hyperscale Model Deployment
Created by
Haebom
저자
Dai Li, Kevin Course, Wei Li, Hongwei Li, Jie Hua, Yiqi Chen, Zhao Zhu, Rui Jian, Xuan Cao, Bi Xue, Yu Shi, Jing Qian, Kai Ren, Matt Ma, Qunshu Zhang, Rui Li
개요
본 논문은 추천 시스템에서 초대규모 모델의 효율적인 배포라는 주요 과제를 해결하기 위해 Foundation-Expert 패러다임을 제안합니다. 기존의 단일 모델 방식과 달리, 다양한 데이터와 추천 서비스 환경에 적응력이 뛰어난 중앙 Foundation Model을 활용하여 일반적인 지식을 학습하고, 이를 각 서비스에 특화된 경량화된 Expert 모델에 전이하여 성능을 향상시키는 방식입니다. Meta에서 실제 서비스에 적용되어, 수십억 건의 사용자 요청을 처리하며 이전 시스템 대비 온라인 지표 개선과 개발 속도 향상, 인프라 효율성 증대를 달성했습니다. HyperCast라는 생산 수준의 인프라 시스템을 구축하여 학습, 서비스 제공, 로깅 및 반복 작업을 재구축하여 이러한 분리된 패러다임을 지원합니다.
시사점, 한계점
•
시사점:
◦
Foundation-Expert 패러다임을 활용한 초대규모 추천 시스템의 성공적인 구축 및 배포 사례 제시.
◦
온라인 지표 개선, 개발 속도 향상 및 인프라 효율성 증대를 동시에 달성.
◦
추천 시스템 분야에서 스케일링 법칙의 실현 가능성을 증명.
◦
다양한 추천 서비스 표면과 데이터 분포에 대한 적응력 향상.
◦
HyperCast와 같은 생산 수준의 인프라 시스템 구축 경험 공유.
•
한계점:
◦
본 논문에서 제시된 Foundation-Expert 패러다임의 일반화 가능성 및 다른 추천 시스템으로의 적용 가능성에 대한 추가 연구 필요.
◦
HyperCast 시스템의 구체적인 아키텍처 및 구현 세부 사항에 대한 자세한 설명 부족.
◦
다양한 데이터 모드 및 추천 표면에 대한 구체적인 설명 부족.
◦
Foundation Model과 Expert Model 간의 상호작용 및 지식 전이 메커니즘에 대한 더 자세한 설명이 필요.