Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs
Created by
- Haebom
Category
Empty
저자
Ling Team, Binwei Zeng, Chao Huang, Chao Zhang, Changxin Tian, Cong Chen, Dingnan Jin, Feng Yu, Feng Zhu, Feng Yuan, Fakang Wang, Gangshan Wang, Guangyao Zhai, Haitao Zhang, Huizhong Li, Jun Zhou, Jia Liu, Junpeng Fang, Junjie Ou, Jun Hu, Ji Luo, Ji Zhang, Jian Liu, Jian Sha, Jianxue Qian, Jiewei Wu, Junping Zhao, Jianguo Li, Jubao Feng, Jingchao Di, Junming Xu, Jinghua Yao, Kuan Xu, Kewei Du, Longfei Li, Lei Liang, Lu Yu, Li Tang, Lin Ju, Peng Xu, Qing Cui, Song Liu, Shicheng Li, Shun Song, Song Yan, Tengwei Cai, Tianyi Chen, Ting Guo, Ting Huang, Tao Feng, Tao Wu, Wei Wu, Xiaolu Zhang, Xueming Yang, Xin Zhao, Xiaobo Hu, Xin Lin, Yao Zhao, Yilong Wang, Yongzhen Guo, Yuanyuan Wang, Yue Yang, Yang Cao, Yuhao Fu, Yi Xiong, Yanzhe Li, Zhe Li, Zhiqiang Zhang, Ziqi Liu, Zhaoxin Huan, Zujie Wen, Zhenhang Sun, Zhuoxuan Du, Zhengyu He
개요
본 기술 보고서는 대규모 전문가 혼합(MoE) 모델 훈련의 어려움, 특히 비용 비효율성 및 자원 제약을 해결하는 데 중점을 둡니다. 이러한 문제를 해결하기 위해 연구진은 Ling-Lite(168억 파라미터, 27.5억 활성화 파라미터)와 Ling-Plus(2900억 파라미터, 288억 활성화 파라미터) 두 가지 크기의 MoE 대규모 언어 모델(LLM)을 제시합니다. 두 모델 모두 주요 업계 벤치마크와 비슷한 성능을 보입니다. 보고서는 자원 제약 환경에서 AI 개발의 효율성과 접근성을 개선하고, 더욱 확장 가능하고 지속 가능한 기술을 장려하기 위한 실행 가능한 통찰력을 제공합니다. 특히 대규모 MoE 모델의 훈련 비용을 줄이기 위해 모델 아키텍처 및 훈련 프로세스 최적화, 훈련 이상 핸들링 개선, 모델 평가 효율성 향상을 위한 혁신적인 방법을 제안합니다. 또한 지식 그래프에서 생성된 고품질 데이터를 활용하여 다른 모델에 비해 도구 사용 능력이 뛰어납니다. 실험 결과, 3000억 파라미터 MoE LLM을 저성능 장치에서 효과적으로 훈련하여 유사한 규모의 밀집 모델 및 MoE 모델과 비슷한 성능을 달성할 수 있음을 보여줍니다. 사전 훈련 단계에서 저사양 하드웨어 시스템을 사용하면 고성능 장치에 비해 컴퓨팅 비용을 약 20% 절감할 수 있습니다. 모델은 https://huggingface.co/inclusionAI 에서 접근할 수 있습니다.
시사점, 한계점
•
시사점:
◦
대규모 MoE LLM을 저사양 하드웨어에서 효율적으로 훈련하는 방법 제시.
◦
훈련 비용을 약 20% 절감하는 방법 제시.
◦
지식 그래프 기반 고품질 데이터를 활용하여 우수한 도구 사용 능력을 보이는 모델 개발.
◦
168억 및 2900억 파라미터의 두 가지 크기의 MoE LLM (Ling-Lite 및 Ling-Plus) 공개.
◦
업계 최고 수준의 성능과 비교 가능한 성능 달성.
•
한계점:
◦
본 논문에서 제시된 방법론의 일반화 가능성에 대한 추가적인 연구가 필요.
◦
다양한 하드웨어 환경에 대한 성능 평가가 제한적일 수 있음.
◦
특정 유형의 데이터셋에 대한 성능 최적화에 대한 자세한 설명 부족.
