SpaceMoE: Realizing Distributed Mixture-of-Experts Inference over Space Networks

작성자

Haebom

카테고리

Empty

저자

Zhanwei Wang, Huiling Yang, Min Sheng, Khaled B. Letaief, Kaibin Huang

💡 개요

본 논문은 위성 네트워크에서 에너지 집약적인 대규모 언어 모델(LLM)의 효율적인 분산 추론 문제를 해결하기 위한 SpaceMoE 프레임워크를 제안한다. 제안된 두 단계의 배치 전략(레이어 배치 및 레이어 내 전문가 배치)은 위성 네트워크의 제한된 자원을 고려하여 모델 아키텍처와 네트워크 토폴로지를 통합하여 저지연 토큰 생성을 보장한다. 천 개의 위성으로 구성된 환경에서 실험한 결과, SpaceMoE는 기존 방식 대비 최소 3배의 지연 시간 감소를 달성했다.

🔑 시사점 및 한계

•

위성 네트워크 환경에서 LLM, 특히 Mixture-of-Experts (MoE) 모델의 분산 추론 문제를 해결하는 새로운 프레임워크를 제시했다.

•

레이어 배치와 전문가 배치의 두 단계 전략을 통해 위성의 컴퓨팅 및 통신 자원 제약을 극복하고 지연 시간을 효과적으로 감소시켰다.

•

자주 활성화되는 전문가를 낮은 지연 시간 경로상의 위성에 배치하는 직관적인 원리를 도출했다.

•

실제 위성 환경에서의 성능을 입증했지만, 다양한 LLM 아키텍처 및 위성 네트워크 구성에 대한 일반화 가능성은 추가 연구가 필요하다.

PDF 보기

Made with Slashpage