Sign In

RaBiT: Residual-Aware Binarization Training for Accurate and Efficient LLMs

Created by
  • Haebom
Category
Empty

μ €μž

Youngcheon You, Banseok Lee, Minseop Choi, Seonyoung Kim, Hyochan Chong, Changdong Kim, Youngmin Kim, Dongkyu Kim

πŸ’‘ κ°œμš”

λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)의 효율적인 배포λ₯Ό μœ„ν•΄μ„œλŠ” 극단적인 μ–‘μžν™”κ°€ ν•„μˆ˜μ μ΄μ§€λ§Œ, μ΄λŠ” μ„±λŠ₯ μ €ν•˜λ₯Ό μ•ΌκΈ°ν•©λ‹ˆλ‹€. λ³Έ 논문은 μž”μ°¨ 이진화(residual binarization)μ—μ„œ λ°œμƒν•˜λŠ” 병렬 μž”μ°¨ 경둜 κ°„μ˜ νŠΉμ§• μž¬μ μ‘(inter-path adaptation) 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄, 각 이진 κ²½λ‘œκ°€ 이전 경둜의 였λ₯˜λ₯Ό λ³΄μƒν•˜λ„λ‘ μ•Œκ³ λ¦¬μ¦˜μ μœΌλ‘œ 계측 ꡬ쑰λ₯Ό κ°•μ œν•˜λŠ” μƒˆλ‘œμš΄ μ–‘μžν™” ν”„λ ˆμž„μ›Œν¬μΈ RaBiTλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. RaBiTλŠ” 2λΉ„νŠΈ 정확도-νš¨μœ¨μ„± μΈ‘λ©΄μ—μ„œ μ΅œμ²¨λ‹¨ μ„±λŠ₯을 λ‹¬μ„±ν•˜λ©°, 벑터 μ–‘μžν™”(VQ) 방법과도 κ²½μŸν•  수 μžˆλŠ” μˆ˜μ€€μœΌλ‘œ, RTX 4090μ—μ„œ ν’€ 정밀도 λͺ¨λΈ λŒ€λΉ„ 4.49배의 μΆ”λ‘  속도 ν–₯상을 μ œκ³΅ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
극단적인 μ–‘μžν™” ν™˜κ²½μ—μ„œ μž”μ°¨ μ΄μ§„ν™”μ˜ μ„±λŠ₯ μ €ν•˜λ₯Ό μœ λ°œν•˜λŠ” 핡심 원인인 'νŠΉμ§• μž¬μ μ‘' 문제λ₯Ό 규λͺ…ν•˜κ³  μ•Œκ³ λ¦¬μ¦˜μ μœΌλ‘œ ν•΄κ²°ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ RaBiT ν”„λ ˆμž„μ›Œν¬λŠ” 기쑴의 νœ΄λ¦¬μŠ€ν‹± 방식과 달리, λͺ…μ‹œμ μΈ 계측 ꡬ쑰λ₯Ό 톡해 μž”μ°¨ 경둜 κ°„μ˜ 효율적인 였λ₯˜ 보상 및 νŠΉμ§• ν•™μŠ΅μ„ κ°€λŠ₯ν•˜κ²Œ ν•˜μ—¬ 2λΉ„νŠΈ LLM의 μ„±λŠ₯을 크게 ν–₯μƒμ‹œμΌ°μŠ΅λ‹ˆλ‹€.
β€’
연ꡬ κ²°κ³ΌλŠ” 극단적인 μ–‘μžν™” μƒν™©μ—μ„œλ„ LLM의 높은 정확도와 νš¨μœ¨μ„±μ„ λ™μ‹œμ— 달성할 수 μžˆμŒμ„ μž…μ¦ν–ˆμœΌλ©°, ν•˜λ“œμ›¨μ–΄ 집약적인 μ–‘μžν™” 방법과도 κ²½μŸν•  수 μžˆλŠ” κ°€λŠ₯성을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
아직 λ‹€μ–‘ν•œ LLM μ•„ν‚€ν…μ²˜μ™€ νƒœμŠ€ν¬μ— λŒ€ν•œ RaBiT의 μΌλ°˜ν™” μ„±λŠ₯에 λŒ€ν•œ 좔가적인 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage