External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation
Created by
- Haebom
Category
Empty
저자
Mingfu Liang, Xi Liu, Rong Jin, Boyang Liu, Qiuling Suo, Qinghai Zhou, Song Zhou, Laming Chen, Hua Zheng, Zhiyuan Li, Shali Jiang, Jiyan Yang, Xiaozhen Xia, Fan Yang, Yasmine Badr, Ellie Wen, Shuyu Xu, Hansey Chen, Zhengyu Zhang, Jade Nie, Chunzhi Yang, Zhichen Zeng, Weilin Zhang, Xingliang Huang, Qianru Li, Shiquan Wang, Evelyn Lyu, Wenjing Lu, Rui Zhang, Wenjun Wang, Jason Rudy, Mengyue Hang, Kai Wang, Yinbin Ma, Shuaiwen Wang, Sihan Zeng, Tongyi Tang, Xiaohan Wei, Longhao Jin, Jamey Zhang, Marcus Chen, Jiayi Zhang, Angie Huang, Chi Zhang, Zhengli Zhao, Jared Yang, Qiang Jin, Xian Chen, Amit Anand Amlesahwaram, Lexi Song, Liang Luo, Yuchen Hao, Nan Xiao, Yavuz Yetim, Luoshang Pan, Gaoxiang Liu, Yuxi Hu, Yuzhen Huang, Jackie Xu, Rich Zhu, Xin Zhang, Yiqun Liu, Hang Yin, Yuxin Chen, Buyun Zhang, Xiaoyi Liu, Xingyuan Wang, Wenguang Mao, Zhijing Li, Qin Huang, Chonglin Sun, Nancy Yu, Shuo Gu, Shupin Mao, Benjamin Au, Jingzheng Qin, Peggy Yao, Jae-Woo Choi, Bin Gao, Ernest Wang, Lei Zhang, Wen-Yen Chen, Ted Lee, Jay Zha, Yi Meng, Alex Gong, Edison Gao, Alireza Vahdatpour, Yiping Han, Yantao Yao, Toshinari Kureha, Shuo Chang, Musharaf Sultan, John Bocharov, Sagar Chordia, Xiaorui Gan, Peng Sun, Rocky Liu, Bo Long, Wenlin Chen, Santanu Kolay, Huayu Li
개요
본 논문은 산업 규모의 광고 추천 시스템에서 발생하는 두 가지 주요 과제, 즉 제한된 훈련 및 추론 비용과 동적으로 변화하는 데이터 분포를 해결하기 위해 External Large Foundation Model (ExFM) 프레임워크를 제안합니다. ExFM은 외부 증류 및 데이터 증강 시스템(DAS)을 통해 훈련/추론의 계산 비용을 제어하면서 높은 성능을 유지하고, 여러 하위 모델(VM)에 서비스할 수 있는 기반 모델(FM) 형태의 교사 모델을 설계하여 비용을 절감합니다. 또한, 스트리밍 데이터로 인한 FM과 VM 간의 데이터 분포 차이를 완화하기 위해 보조 헤드와 학생 어댑터를 제안합니다. 내부 산업 규모 애플리케이션과 공개 데이터셋에 대한 실험을 통해 ExFM의 성능 향상을 입증합니다.
시사점, 한계점
•
시사점:
◦
산업 규모의 광고 추천 시스템에서 발생하는 제한된 자원과 동적 데이터 분포 문제에 대한 효과적인 해결 방안 제시.
◦
기반 모델(FM)을 활용한 효율적인 모델 훈련 및 추론 전략 제시.
◦
외부 증류 및 데이터 증강 시스템을 통한 성능 향상 및 비용 절감.
◦
보조 헤드와 학생 어댑터를 활용한 데이터 분포 차이 완화.
◦
실제 산업 환경에서의 실험 결과를 통해 성능 향상을 검증.
•
한계점:
◦
제안된 프레임워크의 성능은 사용되는 기반 모델(FM)의 성능에 크게 의존할 수 있음.
◦
내부 산업 규모 애플리케이션 데이터에 대한 상세한 설명 부족. 공개 데이터셋과의 비교 분석이 더욱 자세히 이루어져야 함.
◦
다양한 유형의 광고 추천 시스템에 대한 일반화 가능성에 대한 추가 연구가 필요.
◦
데이터 증강 시스템의 구체적인 설계 및 매개변수 조정 과정에 대한 자세한 설명이 부족.
