Sign In

Pretraining large language models with MXFP4 on Native FP4 Hardware

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Musa Cim, Poovaiah Palangappa, Miro Hodak, Ravi Dwivedula, Meena Arunachalam, Mahmut Taylan Kandemir

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)의 FP4(4λΉ„νŠΈ λΆ€λ™μ†Œμˆ˜μ ) 전체 νŒŒμ΄ν”„λΌμΈ ν•™μŠ΅μ΄ λ°œμ‚°ν•˜λŠ” 이유λ₯Ό νƒκ΅¬ν•©λ‹ˆλ‹€. 특히, 순방ν–₯ μ „νŒŒ(Fprop) 및 ν™œμ„±ν™” 기울기(Dgrad)κ°€ μ•ˆμ •μ μΈ μƒνƒœμ—μ„œλ„ ν•™μŠ΅μ΄ λΆˆμ•ˆμ •ν•΄μ§€λŠ” 문제λ₯Ό λ‹€λ£Ήλ‹ˆλ‹€. 연ꡬ진은 κ°€μ€‘μΉ˜ 기울기(Wgrad)의 FP4 μ–‘μžν™”κ°€ ν•™μŠ΅ λΆˆμ•ˆμ •μ˜ 주된 μ›μΈμž„μ„ λ°œκ²¬ν–ˆμœΌλ©°, 이λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ 결정둠적 ν•˜λ‹€λ§ˆλ“œ νšŒμ „μ„ ν™œμš©ν•˜μ—¬ μ•ˆμ •μ μΈ μ΅œμ ν™”λ₯Ό 볡원할 수 μžˆμŒμ„ μ œμ‹œν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
FP4 μ–‘μžν™” μ‹œ, 특히 κ°€μ€‘μΉ˜ 기울기(Wgrad) μ–‘μžν™”κ°€ LLM ν•™μŠ΅μ˜ 수렴 μ„±λŠ₯ μ €ν•˜λ₯Ό μ•ΌκΈ°ν•˜λŠ” μ£Όμš” μš”μΈμž…λ‹ˆλ‹€.
β€’
결정둠적 ν•˜λ‹€λ§ˆλ“œ νšŒμ „κ³Ό 같은 ꡬ쑰적인 기법은 FP4 ν•™μŠ΅ μ‹œ λ°œμƒν•˜λŠ” λΆˆμ•ˆμ •μ„±μ„ 효과적으둜 μ™„ν™”ν•˜μ—¬ μ•ˆμ •μ μΈ μ΅œμ ν™”λ₯Ό κ°€λŠ₯ν•˜κ²Œ ν•©λ‹ˆλ‹€.
β€’
연ꡬ κ²°κ³ΌλŠ” FP4 ν•™μŠ΅ λΆˆμ•ˆμ •μ„±μ΄ λ¬΄μž‘μœ„μ„± λΆ€μ‘±λ³΄λ‹€λŠ” λ―Όκ°ν•œ 기울기 경둜λ₯Ό 따라 λ°œμƒν•˜λŠ” ꡬ쑰적인 λ―Έμ„Έ μŠ€μΌ€μΌ 였λ₯˜μ— 기인함을 μ‹œμ‚¬ν•©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” AMD Instinct MI355X GPU의 λ„€μ΄ν‹°λΈŒ MXFP4 지원을 ν™œμš©ν•˜μ—¬ μ‹€ν—˜μ„ μˆ˜ν–‰ν•˜μ˜€μœΌλ‚˜, λ‹€λ₯Έ ν•˜λ“œμ›¨μ–΄ 및 λͺ¨λΈ μ•„ν‚€ν…μ²˜μ—μ„œμ˜ μΌλ°˜ν™” κ°€λŠ₯성에 λŒ€ν•œ μΆ”κ°€ 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage