Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Every FLOP Counts: Scaling a 300B Mixture-of-Experts LING LLM without Premium GPUs

Created by
  • Haebom

저자

Ling Team, Binwei Zeng, Chao Huang, Chao Zhang, Changxin Tian, Cong Chen, Dingnan Jin, Feng Yu, Feng Zhu, Feng Yuan, Fakang Wang, Gangshan Wang, Guangyao Zhai, Haitao Zhang, Huizhong Li, Jun Zhou, Jia Liu, Junpeng Fang, Junjie Ou, Jun Hu, Ji Luo, Ji Zhang, Jian Liu, Jian Sha, Jianxue Qian, Jiewei Wu, Junping Zhao, Jianguo Li, Jubao Feng, Jingchao Di, Junming Xu, Jinghua Yao, Kuan Xu, Kewei Du, Longfei Li, Lei Liang, Lu Yu, Li Tang, Lin Ju, Peng Xu, Qing Cui, Song Liu, Shicheng Li, Shun Song, Song Yan, Tengwei Cai, Tianyi Chen, Ting Guo, Ting Huang, Tao Feng, Tao Wu, Wei Wu, Xiaolu Zhang, Xueming Yang, Xin Zhao, Xiaobo Hu, Xin Lin, Yao Zhao, Yilong Wang, Yongzhen Guo, Yuanyuan Wang, Yue Yang, Yang Cao, Yuhao Fu, Yi Xiong, Yanzhe Li, Zhe Li, Zhiqiang Zhang, Ziqi Liu, Zhaoxin Huan, Zujie Wen, Zhenhang Sun, Zhuoxuan Du, Zhengyu He

개요

본 논문은 대규모 전문가 혼합(MoE) 모델 훈련의 비효율적인 비용과 자원 제약을 극복하는 데 중점을 두고 있습니다. 이를 위해 매개변수 수가 168억 개(활성 매개변수 27.5억 개)인 Ling-Lite와 2900억 개(활성 매개변수 288억 개)인 Ling-Plus(중국어로 Bailing) 두 가지 크기의 MoE 대규모 언어 모델(LLM)을 제시합니다. 두 모델 모두 주요 업계 벤치마크와 비슷한 성능을 보이며, 자원 제약 환경에서 AI 개발의 효율성과 접근성을 향상시키는 실행 가능한 통찰력을 제공합니다. 모델 아키텍처 및 훈련 프로세스 최적화, 훈련 이상 현상 처리 개선, 모델 평가 효율 향상을 위한 혁신적인 방법을 제안하여 대규모 MoE 모델의 훈련 비용을 절감합니다. 지식 그래프에서 생성된 고품질 데이터를 활용하여 다른 모델보다 우수한 도구 사용 능력을 보여줍니다. 실험 결과, 3000억 매개변수 MoE LLM을 저성능 장치에서 효과적으로 훈련하여 유사한 규모의 밀집 모델 및 MoE 모델과 비슷한 성능을 달성할 수 있음을 보여줍니다. 사전 훈련 단계에서 저사양 하드웨어 시스템을 사용하면 고성능 장치에 비해 컴퓨팅 비용을 약 20% 절감할 수 있습니다. 모델은 https://huggingface.co/inclusionAI 에서 접근 가능합니다.

시사점, 한계점

•
시사점:
◦
대규모 MoE LLM을 저사양 하드웨어에서 효율적으로 훈련하는 방법 제시.
◦
훈련 비용을 약 20% 절감하는 비용 효율적인 훈련 전략 제시.
◦
지식 그래프 기반 고품질 데이터를 활용하여 향상된 도구 사용 능력을 보임.
◦
168억 및 2900억 매개변수의 두 가지 크기의 MoE LLM (Ling-Lite, Ling-Plus)을 공개.
◦
업계 최고 수준의 성능과 비교 가능한 성능 달성.
•
한계점:
◦
본 논문에서 제시된 방법의 일반화 가능성에 대한 추가적인 연구가 필요.
◦
다양한 하드웨어 환경에서의 성능 평가가 추가적으로 필요.
◦
특정 하드웨어 환경에 최적화된 방법일 수 있으므로 다른 환경으로의 일반화 가능성을 검증해야 함.
👍
Made with SlashPage