Sign In

SoLA: Leveraging Soft Activation Sparsity and Low-Rank Decomposition for Large Language Model Compression

Created by
  • Haebom
Category
Empty

μ €μž

Xinhao Huang, You-Liang Huang, Zeyi Wen

πŸ’‘ κ°œμš”

λ³Έ 논문은 λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)의 νŒŒλΌλ―Έν„° 수λ₯Ό 쀄이기 μœ„ν•œ μƒˆλ‘œμš΄ ν•™μŠ΅ μ—†λŠ” μ••μΆ• 방법둠인 SoLAλ₯Ό μ œμ•ˆν•œλ‹€. SoLAλŠ” ν”Όλ“œν¬μ›Œλ“œ 신경망(FFN)의 ν™œμ„±ν™” νŒ¨ν„΄ 뢄석을 톡해 좔둠에 크게 κΈ°μ—¬ν•˜λŠ” μ†Œμˆ˜μ˜ ꡬ성 μš”μ†Œλ₯Ό μ‹λ³„ν•˜κ³ , λ‚˜λ¨Έμ§€ λ‹€μˆ˜μ˜ ꡬ성 μš”μ†ŒλŠ” μ €λž­ν¬ λΆ„ν•΄λ₯Ό 톡해 μ••μΆ•ν•˜λŠ” λ°©μ‹μœΌλ‘œ λͺ¨λΈ 크기λ₯Ό 쀄인닀. 특히, μ €λž­ν¬ λΆ„ν•΄λ‘œ μΈν•œ 손싀을 μ™„ν™”ν•˜κΈ° μœ„ν•΄ κ°€μ€‘μΉ˜ ν–‰λ ¬λ³„λ‘œ μ μ ˆν•œ μΆ•μ†Œ μœ„μΉ˜λ₯Ό ν• λ‹Ήν•˜λŠ” 적응적 μ €λž­ν¬ ν• λ‹Ή μ „λž΅μ„ μ‚¬μš©ν•œλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM 압좕을 μœ„ν•΄ λ³„λ„μ˜ ν•˜λ“œμ›¨μ–΄ μ§€μ›μ΄λ‚˜ λΉ„μ‹Ό 사후 ν›ˆλ ¨ 없이도 효과적인 λͺ¨λΈ 크기 μΆ•μ†Œλ₯Ό 달성할 수 μžˆλ‹€.
β€’
μ œμ•ˆλœ SoLA 방법둠은 LLaMA-2 및 Mistral λͺ¨λΈμ—μ„œ 높은 μ••μΆ•λ₯ μ—μ„œλ„ μ–Έμ–΄ λͺ¨λΈλ§ μ„±λŠ₯ 및 λ‹€μš΄μŠ€νŠΈλ¦Ό νƒœμŠ€ν¬ 정확도λ₯Ό 크게 ν–₯μƒμ‹œμΌ°λ‹€.
β€’
λͺ¨λ“  μ’…λ₯˜μ˜ LLM μ•„ν‚€ν…μ²˜ 및 μž‘μ—…μ— λŒ€ν•΄ λ™μΌν•œ μˆ˜μ€€μ˜ μ„±λŠ₯ ν–₯상을 보μž₯ν•˜λŠ”μ§€μ— λŒ€ν•œ 좔가적인 검증이 ν•„μš”ν•  수 μžˆλ‹€.
πŸ‘
Made with Slashpage