Sign In

The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Siquan Li, Kaiqi Jiang, Jiacheng Sun, Tianyang Hu

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)μ—μ„œ 초기 토큰이 편ν–₯적으둜 μ–΄ν…μ…˜ 점수λ₯Ό λ…μ ν•˜λŠ” "μ–΄ν…μ…˜ 싱크(attention sink)" ν˜„μƒμ˜ ꡬ쑰적 원인을 λ©”μ»€λ‹ˆμ¦˜μ μœΌλ‘œ 규λͺ…ν•©λ‹ˆλ‹€. μ…€ν”„ μ–΄ν…μ…˜μ˜ κ°’(value) 집계 κ³Όμ •μ—μ„œ λ°œμƒν•˜λŠ” 체계적인 λΆ„μ‚° 뢈일치(variance discrepancy)κ°€ 주된 원인이며, μ΄λŠ” ν”Όλ“œν¬μ›Œλ“œ λ„€νŠΈμ›Œν¬(FFN)의 슈퍼 λ‰΄λŸ° ν™œμ„±ν™”μ— μ˜ν•΄ μ¦ν­λ˜μ–΄ 첫 번째 토큰 ν‘œν˜„μ˜ 차원 뢈일치(dimension disparity)λ₯Ό μ•ΌκΈ°ν•˜κ³  μ–΄ν…μ…˜ 싱크 ν˜•μ„±μ„ ν•„μˆ˜μ μœΌλ‘œ λ§Œλ“­λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
μ–΄ν…μ…˜ 싱크 ν˜„μƒμ€ μ…€ν”„ μ–΄ν…μ…˜μ˜ κ°’ 집계 방식과 FFN의 슈퍼 λ‰΄λŸ° ν™œμ„±ν™” λ©”μ»€λ‹ˆμ¦˜ κ°„μ˜ μƒν˜Έμž‘μš©μœΌλ‘œ 인해 ꡬ쑰적으둜 λ°œμƒν•©λ‹ˆλ‹€.
β€’
μ΄λŸ¬ν•œ λ©”μ»€λ‹ˆμ¦˜μ  이해λ₯Ό λ°”νƒ•μœΌλ‘œ μ–΄ν…μ…˜ 마슀크 μˆ˜μ •μ΄λ‚˜ νŠΉμ • 토큰 ν‘œν˜„μ˜ λΆ„μ‚° 증폭과 같은 ν†΅μ œλœ μ‹€ν—˜μ„ 톡해 μž„μ˜μ˜ μœ„μΉ˜μ—μ„œ μ–΄ν…μ…˜ 싱크λ₯Ό μž¬ν˜„ν•  수 μžˆμŒμ„ μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ head-wise RMSNorm μ•„ν‚€ν…μ²˜ μˆ˜μ •μ€ κ°’ μ§‘κ³„μ˜ 톡계적 κ· ν˜•μ„ νšŒλ³΅μ‹œμΌœ 사전 ν•™μŠ΅ μ‹œ 수렴 속도λ₯Ό 크게 κ°€μ†ν™”ν•˜λŠ” 효과λ₯Ό λ³΄μ˜€μŠ΅λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” μ–΄ν…μ…˜ 싱크 ν˜•μ„±μ„ μ²΄κ³„μ μœΌλ‘œ μ œμ–΄ν•  수 μžˆλŠ” κΈ°λ°˜μ„ μ œκ³΅ν•˜μ§€λ§Œ, μ œμ•ˆλœ head-wise RMSNorm이 λ‹€λ₯Έ LLM μ•„ν‚€ν…μ²˜λ‚˜ νƒœμŠ€ν¬μ— λŒ€ν•΄ μ–΄λŠ 정도 μΌλ°˜ν™”λ  수 μžˆλŠ”μ§€μ— λŒ€ν•œ 좔가적인 검증이 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage