Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Samoyeds: Accelerating MoE Models with Structured Sparsity Leveraging Sparse Tensor Cores

Created by
  • Haebom
Category
Empty

저자

Chenpeng Wu, Qiqi Gu, Heng Shi, Jianguo Yao, Haibing Guan

개요

본 논문은 Mixture-of-Experts (MoE) 기반 대규모 언어 모델(LLM)의 크기 증가로 인한 계산 및 메모리 문제 해결을 위해 활성화와 모델 파라미터 양쪽에 동시에 희소성을 적용하는 Samoyeds라는 가속 시스템을 제안합니다. Samoyeds는 MoE 계산에 맞춤화된 희소 데이터 형식과 특수한 희소-희소 행렬 곱셈 커널을 도입하고, Sparse Tensor Cores (SpTCs)에서 이중 측면 구조화된 희소 MoE LLM 실행을 위해 설계된 체계적인 최적화를 통합합니다. 실험 결과, Samoyeds는 기존 최고 성능(SOTA)을 커널 수준에서 최대 1.99배, 모델 수준에서 최대 1.58배 능가하며, 메모리 효율성을 높여 평균적으로 최대 지원 배치 크기를 4.41배 증가시키는 것으로 나타났습니다. 또한, 기존 SOTA 구조화된 희소 솔루션보다 모델 정확도와 하드웨어 이식성이 모두 우수합니다.

시사점, 한계점

•
시사점:
◦
MoE LLM의 계산 및 메모리 효율을 크게 향상시키는 새로운 가속 시스템을 제시합니다.
◦
활성화와 모델 파라미터에 대한 이중 측면 희소성을 활용하여 기존 SOTA를 능가하는 성능을 달성합니다.
◦
Sparse Tensor Cores를 효율적으로 활용하여 하드웨어 가속을 실현합니다.
◦
향상된 메모리 효율성으로 더 큰 배치 크기를 처리할 수 있습니다.
◦
모델 정확도와 하드웨어 이식성을 동시에 개선합니다.
•
한계점:
◦
Samoyeds의 성능 향상은 특정 하드웨어(SpTCs)에 의존적일 수 있습니다.
◦
다양한 MoE LLM 아키텍처와 크기에 대한 일반화 가능성에 대한 추가 연구가 필요합니다.
◦
제시된 희소 데이터 형식과 커널의 최적화가 다른 하드웨어 플랫폼으로의 이식성에 어떤 영향을 미치는지 추가적인 평가가 필요합니다.
👍
Made with Slashpage