External Large Foundation Model: How to Efficiently Serve Trillions of Parameters for Online Ads Recommendation

Created by

Haebom

저자

Mingfu Liang, Xi Liu, Rong Jin, Boyang Liu, Qiuling Suo, Qinghai Zhou, Song Zhou, Laming Chen, Hua Zheng, Zhiyuan Li, Shali Jiang, Jiyan Yang, Xiaozhen Xia, Fan Yang, Yasmine Badr, Ellie Wen, Shuyu Xu, Hansey Chen, Zhengyu Zhang, Jade Nie, Chunzhi Yang, Zhichen Zeng, Weilin Zhang, Xingliang Huang, Qianru Li, Shiquan Wang, Evelyn Lyu, Wenjing Lu, Rui Zhang, Wenjun Wang, Jason Rudy, Mengyue Hang, Kai Wang, Yinbin Ma, Shuaiwen Wang, Sihan Zeng, Tongyi Tang, Xiaohan Wei, Longhao Jin, Jamey Zhang, Marcus Chen, Jiayi Zhang, Angie Huang, Chi Zhang, Zhengli Zhao, Jared Yang, Qiang Jin, Xian Chen, Amit Anand Amlesahwaram, Lexi Song, Liang Luo, Yuchen Hao, Nan Xiao, Yavuz Yetim, Luoshang Pan, Gaoxiang Liu, Yuxi Hu, Yuzhen Huang, Jackie Xu, Rich Zhu, Xin Zhang, Yiqun Liu, Hang Yin, Yuxin Chen, Buyun Zhang, Xiaoyi Liu, Xingyuan Wang, Wenguang Mao, Zhijing Li, Qin Huang, Chonglin Sun, Shupin Mao, Benjamin Au, Jingzheng Qin, Peggy Yao, Jae-Woo Choi, Bin Gao, Ernest Wang, Lei Zhang, Wen-Yen Chen, Ted Lee, Jay Zha, Yi Meng, Alex Gong, Edison Gao, Alireza Vahdatpour, Yiping Han, Yantao Yao, Toshinari Kureha, Shuo Chang, Musharaf Sultan, John Bocharov, Sagar Chordia, Xiaorui Gan, Peng Sun, Rocky Liu, Bo Long, Wenlin Chen, Santanu Kolay, Huayu Li

개요

본 논문은 산업 규모의 광고 추천 시스템에서 발생하는 두 가지 주요 과제, 즉 제한된 훈련 및 추론 비용과 동적으로 변하는 데이터 분포를 해결하기 위해 External Large Foundation Model (ExFM) 프레임워크를 제안합니다. ExFM은 외부 증류 및 데이터 증강 시스템(DAS)을 통해 훈련/추론의 계산 비용을 제어하면서 높은 성능을 유지하고, Foundation Model(FM)을 기반으로 여러 Vertical Model(VM)에 서비스를 제공하여 비용을 절감합니다. 또한, 스트리밍 데이터로 인한 FM과 VM 간의 데이터 분포 차이를 완화하기 위해 보조 헤드와 학생 어댑터를 제안합니다. 내부 산업 규모 애플리케이션과 공개 데이터셋에 대한 실험을 통해 ExFM의 성능 향상을 입증합니다.