Sign In

CompilerKV: Risk-Adaptive KV Compression via Offline Experience Compilation

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Ning Yang, Chengzhi Wang, Yibo Liu, Baoliang Tian, Haijun Zhang

πŸ’‘ κ°œμš”

λ³Έ 논문은 사전 ν›ˆλ ¨ λ‹¨κ³„μ—μ„œ κ³ μ •λœ ν† ν°μ˜ 일뢀λ₯Ό μ‚¬μš©ν•˜λŠ” κΈ°μ‘΄ Prefill-only KV μ••μΆ• λ°©μ‹μ˜ 근본적인 λ¬Έμ œμ μ„ μ§€μ ν•©λ‹ˆλ‹€. μ΄λŸ¬ν•œ 방식은 볡ꡬ λΆˆκ°€λŠ₯ν•œ 토큰 선택을 온라인 μƒμ˜ 단일 ν”„λ‘¬ν”„νŠΈ 정보에 μ˜μ‘΄ν•˜λŠ”λ°, μ €μžλŠ” μ΄λŸ¬ν•œ μ‹ ν˜Έλ“€μ΄ ν”„λ‘¬ν”„νŠΈ 간에 더 높은 κ·œμΉ™μ„±μ„ λ³΄μΈλ‹€λŠ” 점에 μ°©μ•ˆν•˜μ—¬, μ˜€ν”„λΌμΈμ—μ„œ 컴파일된 ꡐ정 ν…Œμ΄λΈ”μ„ ν™œμš©ν•˜λŠ” CompilerKVλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. CompilerKVλŠ” 이λ₯Ό 톡해 μ˜¨λΌμΈμ—μ„œμ˜ λ³΅μž‘ν•œ 연산을 $O(1)$ μ‘°νšŒμ™€ μ˜ˆμ‚° μ œν•œμœΌλ‘œ λŒ€μ²΄ν•˜λ©°, μ••μΆ•λœ μƒνƒœμ—μ„œ μ΅œμ‹  μ„±λŠ₯을 λ‹¬μ„±ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
ν”„λ‘¬ν”„νŠΈ κ°„ κ·œμΉ™μ„±μ„ ν™œμš©ν•œ 효율적인 KV μ••μΆ•: κΈ°μ‘΄ 방식과 달리 ν”„λ‘¬ν”„νŠΈ κ°„ μœ μ‚¬μ„±μ„ ν™œμš©ν•˜μ—¬ 컴파일된 ν…Œμ΄λΈ”μ„ κ΅¬μΆ•ν•¨μœΌλ‘œμ¨, λ‹€μ–‘ν•œ λͺ¨λΈκ³Ό 데이터셋에 걸쳐 μΌκ΄€λœ μ„±λŠ₯ ν–₯상을 κΈ°λŒ€ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
온라인 μ—°μ‚° λΆ€λ‹΄ κ°μ†Œ 및 μ‹€μ‹œκ°„ μ„±λŠ₯ ν–₯상: μ˜€ν”„λΌμΈ μ»΄νŒŒμΌμ„ 톡해 온라인 λ‹¨κ³„μ˜ λ³΅μž‘ν•œ 연산을 μ΅œμ†Œν™”ν•˜μ—¬, 특히 λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ μ„œλΉ„μŠ€ μ‹œ λ©”λͺ¨λ¦¬ 및 계산 μžμ›μ„ μ ˆμ•½ν•˜κ³  μ‹€μ‹œκ°„ 응닡성을 높일 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
λͺ¨λΈ 및 데이터셋 κ°„ 이식성: 컴파일된 ꡐ정 ν…Œμ΄λΈ”μ΄ "νœ΄λŒ€ κ°€λŠ₯ν•œ μ•„ν‚€ν…μ²˜ 사전" 역할을 ν•˜μ—¬, λ³„λ„μ˜ λ―Έμ„Έ μ‘°μ • 없이도 λ‹€λ₯Έ λͺ¨λΈμ΄λ‚˜ 데이터셋에 효과적으둜 적용될 수 μžˆμŒμ„ μ‹€ν—˜μ μœΌλ‘œ μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
졜적의 토큰 선택 μ „λž΅μ˜ λ³΅μž‘μ„±: λ³Έ λ…Όλ¬Έμ—μ„œ μ œμ‹œλœ μ˜€ν”„λΌμΈ 컴파일 방식은 λ°©λŒ€ν•œ ꡐ정 데이터셋과 계산 μžμ›μ„ ν•„μš”λ‘œ ν•  수 있으며, νŠΉμ • μž‘μ—…μ΄λ‚˜ 데이터 뢄포에 μ΅œμ ν™”λœ ν…Œμ΄λΈ”μ„ κ΅¬μΆ•ν•˜λŠ” 과정은 μ—¬μ „νžˆ 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage