Sign In

Quantizing With Randomized Hadamard Transforms: Efficient Heuristic Now Proven

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Ran Ben-Basat, William Kuszmaul, Michael Mitzenmacher, Amit Portnoy, Shay Vargaftik

πŸ’‘ κ°œμš”

λ³Έ 논문은 κ·Έλž˜λ””μ–ΈνŠΈ μ••μΆ•, μΆ”λ‘  가속화 λ“± λ‹€μ–‘ν•œ AI/ML λΆ„μ•Όμ—μ„œ ν™œμš©λ˜λŠ” 균일 랜덀 νšŒμ „(URR)의 효율적인 λŒ€μ•ˆμœΌλ‘œ λ¬΄μž‘μœ„ ν•˜λ‹€λ§ˆλ“œ λ³€ν™˜(RHT)을 μ œμ‹œν•©λ‹ˆλ‹€. 두 번의 RHT 적용으둜 κ°œλ³„ μ’Œν‘œ 뢄포가 ν‘œμ€€ μ •κ·œλΆ„ν¬μ— 근접함을 이둠적으둜 증λͺ…ν•˜κ³ , 이λ₯Ό 톡해 DRIVE 및 QUIC-FLκ³Ό 같은 μ••μΆ• κΈ°λ²•μ˜ μ„±λŠ₯을 URRκ³Ό μœ μ‚¬ν•˜κ²Œ λ§Œλ“€μ—ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
두 번의 RHT μ μš©λ§ŒμœΌλ‘œλ„ κ°œλ³„ μ’Œν‘œμ˜ 뢄포가 ν‘œμ€€ μ •κ·œλΆ„ν¬μ— κ·Όμ‚¬ν•˜κ²Œ λ˜μ–΄ λ‹€μ–‘ν•œ μ••μΆ• 및 가속화 기법에 효과적으둜 적용될 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
벑터 μ–‘μžν™”(VQ)와 같이 μ’Œν‘œ κ°„ 상관관계가 μ€‘μš”ν•œ 경우, μ„Έ 번의 RHT 적용이 ν•„μš”ν•˜λ©° μ΄λŠ” μ½”λ“œλΆ μ΅œμ ν™” μ‹œ URRκ³Ό μœ μ‚¬ν•œ μ„±λŠ₯을 보μž₯ν•©λ‹ˆλ‹€.
β€’
μ‹€μš©μ μΈ μž…λ ₯μ—μ„œλŠ” μ„Έ 번의 RHTκ°€ 항상 ν•„μš”ν•˜μ§€ μ•Šμ„ 수 있으며, μž…λ ₯ λͺ¨λ©˜νŠΈ 검사λ₯Ό 톡해 λŸ°νƒ€μž„μ— RHT 적용 횟수λ₯Ό λ™μ μœΌλ‘œ μ‘°μ ˆν•˜μ—¬ μ„±λŠ₯을 ν–₯μƒμ‹œν‚€λŠ” μ„ ν˜• μ‹œκ°„ μ•Œκ³ λ¦¬μ¦˜μ„ μ œμ•ˆν•©λ‹ˆλ‹€.
β€’
μ„Έ 번의 RHTλ₯Ό μ μš©ν•΄λ„ VQ μ½”λ“œλΆ μ΅œμ ν™” μ‹œ λ°œμƒν•˜λŠ” 였λ₯˜λŠ” 차원에 따라 μ€„μ–΄λ“œλŠ” μƒμ‡„ν•­μœΌλ‘œλ§Œ 차이가 λ‚©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage