Sign In

Benchmarking the Energy Savings with Speculative Decoding Strategies

Created by
  • Haebom
Category
Empty

μ €μž

Rohit Dutta, Paramita Koley, Soham Poddar, Janardan Misra, Sanjay Podder, Naveen Balani, Saptarshi Ghosh, Niloy Ganguly

πŸ’‘ κ°œμš”

λ³Έ 논문은 λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM) μΆ”λ‘ μ˜ μ—λ„ˆμ§€ μ†ŒλΉ„λ₯Ό μ€„μ΄λŠ” 데 μ΄ˆμ μ„ 맞좰, 좔츑적 λ””μ½”λ”© μ „λž΅λ“€μ˜ μ—λ„ˆμ§€ 절감 효과λ₯Ό ν¬κ΄„μ μœΌλ‘œ μ‘°μ‚¬ν•©λ‹ˆλ‹€. λ‹€μ–‘ν•œ λͺ¨λΈ 크기 및 계열, 좔츑적 λ””μ½”λ”© 방법, 그리고 데이터셋 νŠΉμ„±μ΄ μ—λ„ˆμ§€ μ΅œμ ν™”μ— λ―ΈμΉ˜λŠ” 영ν–₯을 μ‹¬μΈ΅μ μœΌλ‘œ λΆ„μ„ν•˜μ—¬, 좔츑적 디코딩이 λ ˆμ΄ν„΄μ‹œ κ°μ†ŒλΏλ§Œ μ•„λ‹ˆλΌ μ—λ„ˆμ§€ νš¨μœ¨μ„± μΈ‘λ©΄μ—μ„œλ„ μœ λ§ν•œ λ°©λ²•λ‘ μž„μ„ μ œμ‹œν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
좔츑적 디코딩은 LLM μΆ”λ‘  μ‹œ λ ˆμ΄ν„΄μ‹œ κ°μ†ŒλΏλ§Œ μ•„λ‹ˆλΌ μ—λ„ˆμ§€ μ†ŒλΉ„ μ ˆκ°μ—λ„ κΈ°μ—¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
λͺ¨λΈ 크기, μ’…λ₯˜, 좔츑적 λ””μ½”λ”© μ „λž΅μ˜ 선택, 그리고 λ°μ΄ν„°μ…‹μ˜ νŠΉμ„±μ΄ μ—λ„ˆμ§€ 절감 νš¨κ³Όμ— μ€‘μš”ν•œ 영ν–₯을 λ―ΈμΉ©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” 좔츑적 λ””μ½”λ”©μ˜ μ—λ„ˆμ§€ νš¨μœ¨μ„±μ— λŒ€ν•œ 이해λ₯Ό λ†’μ˜€μ§€λ§Œ, λ‹€μ–‘ν•œ ν•˜λ“œμ›¨μ–΄ 및 μ‹€μ œ 적용 μ‹œλ‚˜λ¦¬μ˜€μ—μ„œμ˜ μ—λ„ˆμ§€ μ†ŒλΉ„μ— λŒ€ν•œ 좔가적인 뢄석이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage