Sign In

Provable Post-Training Quantization: Theoretical Analysis of OPTQ and Qronos

Created by
  • Haebom
Category
Empty

μ €μž

Haoyu Zhang, Shihao Zhang, Ian Colbert, Rayan Saab

πŸ’‘ κ°œμš”

λ³Έ 논문은 λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)을 ν¬ν•¨ν•œ λ”₯λŸ¬λ‹ λͺ¨λΈμ˜ λ©”λͺ¨λ¦¬ 및 μ—°μ‚° λΉ„μš© μ ˆκ°μ— μ€‘μš”ν•œ 역할을 ν•˜λŠ” ν›„ν•™μŠ΅ μ–‘μžν™”(PTQ)에 λŒ€ν•΄ λ‹€λ£Ήλ‹ˆλ‹€. 특히, 널리 μ‚¬μš©λ˜μ§€λ§Œ 이둠적 보μž₯이 λΆ€μ‘±ν–ˆλ˜ OPTQ (GPTQ) ν”„λ ˆμž„μ›Œν¬μ™€ Qronos μ•Œκ³ λ¦¬μ¦˜μ˜ μ •λŸ‰μ μΈ 였λ₯˜ 뢄석을 졜초둜 μ œμ‹œν•©λ‹ˆλ‹€. 뢄석 κ²°κ³ΌλŠ” OPTQ의 반볡적 μ ˆμ°¨κ°€ μœ λ°œν•˜λŠ” μ–‘μžν™” 였λ₯˜λ₯Ό μ„€λͺ…ν•˜κ³ , νœ΄λ¦¬μŠ€ν‹±ν•œ νŠΉμ§• μ •λ ¬ 및 규제 νŒŒλΌλ―Έν„° 선택에 λŒ€ν•œ 이둠적 근거와 지침을 μ œκ³΅ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
OPTQ의 비점근적 2-norm 였λ₯˜ ν•œκ³„ 뢄석을 톡해 μΊ˜λ¦¬λΈŒλ ˆμ΄μ…˜ 데이터와 규제 νŒŒλΌλ―Έν„°μ— λ”°λ₯Έ 였λ₯˜ νŠΉμ„±μ„ 이해할 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
ν™•λ₯ λ‘ μ  OPTQ의 더 κ°•λ ₯ν•œ infinity-norm 였λ₯˜ ν•œκ³„λŠ” μ–‘μžν™” μ•ŒνŒŒλ²³ 크기 μ œμ–΄μ— μœ μš©ν•˜λ©°, 특히 후속 λ ˆμ΄μ–΄ 및 λΉ„μ„ ν˜•μ„±μ— λŒ€ν•œ 적용 κ°€λŠ₯성을 λ†’μž…λ‹ˆλ‹€.
β€’
Qronos μ•Œκ³ λ¦¬μ¦˜μ— λŒ€ν•œ μƒˆλ‘œμš΄ 이둠적 뢄석은 ν•΄λ‹Ή μ•Œκ³ λ¦¬μ¦˜μ˜ κ²½ν—˜μ  이점을 μ„€λͺ…ν•˜λŠ” 데 κΈ°μ—¬ν•©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬μ˜ 였λ₯˜ 뢄석은 주둜 2-norm λ˜λŠ” infinity-norm에 κΈ°λ°˜ν•˜κ³  있으며, μ‹€μ œ λͺ¨λΈμ˜ λ³΅μž‘ν•œ ꡬ쑰 및 λ‹€λ₯Έ μœ ν˜•μ˜ 였λ₯˜μ— λŒ€ν•œ 좔가적인 이둠적 탐ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage