Sign In

High-Rate Quantized Matrix Multiplication I

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Or Ordentlich, Yury Polyanskiy

πŸ’‘ κ°œμš”

λ³Έ 논문은 λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)의 효율적인 배포에 ν•„μˆ˜μ μΈ μ–‘μžν™” ν–‰λ ¬ κ³±μ…ˆ(MatMul) 문제λ₯Ό νƒκ΅¬ν•©λ‹ˆλ‹€. 특히, 미리 μ •μ˜λœ 톡계 정보 없이 κ°€μ€‘μΉ˜μ™€ ν™œμ„±ν™” λͺ¨λ‘λ₯Ό μ–‘μžν™”ν•˜λŠ” 일반적인 MatMul 섀정을 λ‹€λ£Ήλ‹ˆλ‹€. μ–‘μžν™” λΉ„μœ¨κ³Ό μ™œκ³‘ κ°„μ˜ 근본적인 정보 이둠적 μ ˆμΆ©μ μ„ κ³ μ°°ν•˜κ³ , 널리 μ‚¬μš©λ˜λŠ” μ–‘μžν™” 방식(absmax INT 및 뢀동 μ†Œμˆ˜μ (FP))의 μ„±λŠ₯을 비ꡐ λΆ„μ„ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM 배포 νš¨μœ¨μ„±μ„ 높이기 μœ„ν•œ μ–‘μžν™” MatMul의 μ€‘μš”μ„±μ„ κ°•μ‘°ν•©λ‹ˆλ‹€.
β€’
톡계 정보 없이도 적용 κ°€λŠ₯ν•œ 일반적인 μ–‘μžν™” MatMul 섀정을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
μ–‘μžν™” λΉ„μœ¨κ³Ό μ™œκ³‘ μ‚¬μ΄μ˜ 정보 이둠적 μ ˆμΆ©μ μ„ λΆ„μ„ν•˜κ³ , μ‹€μ œ μ–‘μžν™” κΈ°λ²•μ˜ μ„±λŠ₯을 ν‰κ°€ν•©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” μ–‘μžν™” MatMul의 고속 이둠적 츑면을 닀루며, 후속 연ꡬ(Part II)μ—μ„œλŠ” κ°€μ€‘μΉ˜ 단독 μ–‘μžν™” 및 ν™œμ„±ν™” ν–‰λ ¬μ˜ 2μ°¨ 톡계 정보 ν™œμš©μ„ λ…Όμ˜ν•  μ˜ˆμ •μž…λ‹ˆλ‹€.
πŸ‘
Made with Slashpage