Sign In

GQLA: Group-Query Latent Attention for Hardware-Adaptive Large Language Model Decoding

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Fanxu Meng

πŸ’‘ κ°œμš”

λ³Έ 논문은 κΈ°μ‘΄ Multi-head Latent Attention (MLA)의 H100 ν•˜λ“œμ›¨μ–΄ μ΅œμ ν™”λœ λ””μ½”λ”© κ²½λ‘œκ°€ λ‹€λ₯Έ ν•˜λ“œμ›¨μ–΄μ—μ„œλŠ” νš¨μœ¨μ„±μ„ μ €ν•΄ν•˜κ³  Multi-Token Prediction (MTP) 이득을 얻지 λͺ»ν•˜λŠ” 문제λ₯Ό ν•΄κ²°ν•˜κ³ μž ν•©λ‹ˆλ‹€. 이λ₯Ό μœ„ν•΄ Group-Query Latent Attention (GQLA)을 μ œμ•ˆν•˜λ©°, μ΄λŠ” 단일 λͺ¨λΈ κ°€μ€‘μΉ˜λ‘œ H100κ³Ό H20 λ“± λ‹€μ–‘ν•œ ν•˜λ“œμ›¨μ–΄μ— μ΅œμ ν™”λœ 두 가지 λ””μ½”λ”© 경둜(MQA-absorb 경둜 및 GQA 경둜)λ₯Ό μ œκ³΅ν•©λ‹ˆλ‹€. GQLAλŠ” 사전 ν•™μŠ΅λœ GQA λͺ¨λΈμ„ λ³€ν™˜ν•˜λŠ” TransGQLAλ₯Ό 톡해 효율적으둜 적용될 수 있으며, KV μΊμ‹œ μ••μΆ• 및 제둜 쀑볡 ν…μ„œ 병렬 처리λ₯Ό μ§€μ›ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
ν•˜λ“œμ›¨μ–΄ 적응성 ν–₯상: GQLAλŠ” 단일 λͺ¨λΈ κ°€μ€‘μΉ˜λ‘œ λ‹€μ–‘ν•œ GPU μ•„ν‚€ν…μ²˜(H100, H20 λ“±)에 μ΅œμ ν™”λœ λ””μ½”λ”© 경둜λ₯Ό λ™μ μœΌλ‘œ μ„ νƒν•˜μ—¬ νš¨μœ¨μ„±μ„ κ·ΉλŒ€ν™”ν•©λ‹ˆλ‹€.
β€’
μ„±λŠ₯ 및 νš¨μœ¨μ„± κ°œμ„ : MQA-absorb κ²½λ‘œμ—μ„œλŠ” H100의 μ„±λŠ₯을 μœ μ§€ν•˜κ³ , GQA κ²½λ‘œμ—μ„œλŠ” H20κ³Ό 같은 GPUμ—μ„œ MTP 이득을 ν™œμš©ν•˜λ©° KV μΊμ‹œλ₯Ό 효과적으둜 μ••μΆ•ν•©λ‹ˆλ‹€.
β€’
κΈ°μ‘΄ λͺ¨λΈκ³Όμ˜ ν˜Έν™˜μ„± 및 ν™•μž₯μ„±: λ³„λ„μ˜ μž¬ν•™μŠ΅ 없이 κΈ°μ‘΄ GQA λͺ¨λΈμ„ GQLA둜 λ³€ν™˜ν•  수 있으며, 8-way 제둜 쀑볡 ν…μ„œ 병렬 처리λ₯Ό μ§€μ›ν•˜μ—¬ ν™•μž₯성을 λ†’μž…λ‹ˆλ‹€.
β€’
잠재적인 μ˜€λ²„ν—€λ“œ: 두 가지 λ””μ½”λ”© 경둜λ₯Ό λͺ¨λ‘ μ§€μ›ν•˜κΈ° μœ„ν•œ ꡬ쑰적 λ³΅μž‘μ„±μ΄ λ°œμƒν•  수 있으며, νŠΉμ • ν•˜λ“œμ›¨μ–΄μ—μ„œ 졜적의 μ„±λŠ₯을 λ‹¬μ„±ν•˜κΈ° μœ„ν•œ 좔가적인 νŠœλ‹μ΄ ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage