Sign In

Patterns behind Chaos: Forecasting Data Movement for Efficient Large-Scale MoE LLM Inference

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Zhongkai Yu, Yue Guan, Zihao Yu, Chenyang Zhou, Zhengding Hu, Shuyi Pei, Yangwook Kang, Yufei Ding, Po-An Tsai

πŸ’‘ κ°œμš”

λŒ€κ·œλͺ¨ Mixture of Experts (MoE) LLM은 λ›°μ–΄λ‚œ μ„±λŠ₯을 λ³΄μ΄μ§€λ§Œ, λ¬΄μž‘μœ„ μ „λ¬Έκ°€ 선택 λ©”μ»€λ‹ˆμ¦˜μœΌλ‘œ 인해 데이터 이동 μ˜€λ²„ν—€λ“œκ°€ μ‹¬κ°ν•œ 병λͺ© ν˜„μƒμ„ μœ λ°œν•©λ‹ˆλ‹€. λ³Έ μ—°κ΅¬λŠ” μ΅œμ‹  MoE λͺ¨λΈ 4쒅에 λŒ€ν•œ 쒅합적인 데이터 이동 ν”„λ‘œνŒŒμΌλ§μ„ μˆ˜ν–‰ν•˜μ—¬, μ‹œκ°„μ  및 곡간적 κ΄€μ μ—μ„œ 6가지 핡심 μΈμ‚¬μ΄νŠΈλ₯Ό λ„μΆœν–ˆμŠ΅λ‹ˆλ‹€. μ΄λŸ¬ν•œ μΈμ‚¬μ΄νŠΈλŠ” λ‹€μ–‘ν•œ μ„œλΉ™ μ‹œμŠ€ν…œ 섀계λ₯Ό μœ„ν•œ 지침을 μ œκ³΅ν•˜λ©°, 특히 웨이퍼 μŠ€μΌ€μΌ GPU μ•„ν‚€ν…μ²˜μ—μ„œ 6.6배의 평균 속도 ν–₯상을 λ‹¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
MoE λͺ¨λΈμ˜ 데이터 이동 νŒ¨ν„΄μ— λŒ€ν•œ 체계적인 뢄석을 톡해 μ„±λŠ₯ ν–₯μƒμ˜ 기회λ₯Ό λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
λ„μΆœλœ μΈμ‚¬μ΄νŠΈλŠ” ν–₯ν›„ MoE LLM μ„œλΉ™ μ‹œμŠ€ν…œ 섀계에 μ‹€μ§ˆμ μΈ 지침을 μ œκ³΅ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
ν˜„μž¬λŠ” μ œμ‹œλœ μΈμ‚¬μ΄νŠΈ 기반의 μ΅œμ ν™”κ°€ νŠΉμ • ν•˜λ“œμ›¨μ–΄ ν™˜κ²½(웨이퍼 μŠ€μΌ€μΌ GPU)μ—μ„œ 큰 효과λ₯Ό λ³΄μ˜€μœΌλ‚˜, λ‹€μ–‘ν•œ μ‹€μ œ μ„œλΉ™ ν™˜κ²½μ— λŒ€ν•œ 좔가적인 검증 및 μ΅œμ ν™” λ°©μ•ˆ 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage