LLaDA-MoE: A Sparse MoE Diffusion Language Model
작성자
- Haebom
카테고리
Empty
저자
Fengqi Zhu, Zebin You, Yipeng Xing, Zenan Huang, Lin Liu, Yihong Zhuang, Guoshan Lu, Kangyu Wang, Xudong Wang, Lanning Wei, Hongrui Guo, Jiaqi Hu, Wentao Ye, Tieyuan Chen, Chenchen Li, Chengfu Tang, Haibo Feng, Jun Hu, Jun Zhou, Xiaolu Zhang, Zhenzhong Lan, Junbo Zhao, Da Zheng, Chongxuan Li, Jianguo Li, Ji-Rong Wen
LLaDA-MoE: Mixture-of-Experts 기반의 대규모 언어 확산 모델
개요
본 논문은 약 20조 토큰으로 처음부터 학습된 Mixture-of-Experts (MoE) 아키텍처를 가진 대규모 언어 확산 모델인 LLaDA-MoE를 소개합니다. LLaDA-MoE는 70억 개의 파라미터 용량을 유지하면서 추론 시 14억 개의 파라미터만 활성화하여 상당한 계산 비용 절감과 경쟁력 있는 성능을 달성합니다. 실험 결과, LLaDA-MoE는 더 큰 파라미터를 가진 이전 확산 언어 모델들을 능가하며, 여러 벤치마크에서 LLaDA, LLaDA 1.5, Dream과 같은 모델들을 뛰어넘는 최첨단 성능을 보입니다. Instruct-tuned 모델인 LLaDA-MoE-7B-A1B-Instruct는 적은 활성 파라미터를 사용하면서도 지식 이해, 코드 생성, 수학적 추론, 에이전트 및 정렬 작업에서 Qwen2.5-3B-Instruct와 비슷한 수준의 성능을 보입니다.
시사점, 한계점
•
시사점:
◦
MoE 아키텍처를 마스크 확산 언어 모델의 학습 목표에 통합함으로써 효율적인 추론과 적은 활성 파라미터로 MoE의 강점을 활용할 수 있음.
◦
더 큰 파라미터를 가진 기존 확산 언어 모델보다 우수한 성능을 보임.
◦
Instruct-tuned 모델이 적은 활성 파라미터를 사용하면서도 다른 모델과 동등한 수준의 성능을 보임.
◦
확산 언어 모델 연구에 대한 추가적인 가능성을 열어줌.
•
한계점:
◦
논문에서 구체적인 한계점은 언급되지 않음. (논문 요약 내용만 제공됨)
