Sign In

Golden Layers and Where to Find Them: Improved Knowledge Editing for Large Language Models Via Layer Gradient Analysis

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Shrestha Datta, Hongfu Liu, Anshuman Chhabra

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)의 νŠΉμ • 지식 μˆ˜μ • μ‹œ 졜적의 νŽΈμ§‘ μ„±λŠ₯을 λ³΄μ΄λŠ” κ³ μ •λœ "ν™©κΈˆ λ ˆμ΄μ–΄"κ°€ μ‘΄μž¬ν•œλ‹€λŠ” 가섀을 μ œμ‹œν•˜κ³  이λ₯Ό κ²€μ¦ν•©λ‹ˆλ‹€. μ œμ•ˆλœ λ ˆμ΄μ–΄ 경사도 뢄석(LGA) 기법은 효율적으둜 ν™©κΈˆ λ ˆμ΄μ–΄λ₯Ό μ‹λ³„ν•˜μ—¬ νŒŒλΌλ―Έν„° μˆ˜μ • κ³Όμ •μ—μ„œμ˜ μ‹œν–‰μ°©μ˜€λ₯Ό 쀄이고, λ‹€μ–‘ν•œ LLM 및 지식 μˆ˜μ • 방법둠에 걸쳐 효과적이고 κ²¬κ³ ν•œ μ„±λŠ₯을 μž…μ¦ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM의 지식 μˆ˜μ • μ‹œ, λͺ¨λ“  쿼리에 λŒ€ν•΄ 졜적의 μ„±λŠ₯을 μ œκ³΅ν•˜λŠ” κ³ μ •λœ "ν™©κΈˆ λ ˆμ΄μ–΄"κ°€ μ‘΄μž¬ν•˜λ©°, μ΄λŠ” κ°œλ³„ μΏΌλ¦¬λ§ˆλ‹€ 졜적의 λ ˆμ΄μ–΄κ°€ λ‹¬λΌμ§€λŠ” κΈ°μ‘΄ λ°©μ‹μ˜ ν•œκ³„λ₯Ό 극볡할 수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λ ˆμ΄μ–΄ 경사도 뢄석(LGA) 기법은 ν”„λ‘μ‹œ 데이터셋을 ν™œμš©ν•˜μ—¬ ν™©κΈˆ λ ˆμ΄μ–΄λ₯Ό 효율적으둜 μ‹λ³„ν•˜κ³ , 검증 λ°μ΄ν„°μ…‹λΏλ§Œ μ•„λ‹ˆλΌ μ‹€μ œ ν…ŒμŠ€νŠΈ λ°μ΄ν„°μ…‹μ—μ„œλ„ μš°μˆ˜ν•œ μΌλ°˜ν™” μ„±λŠ₯을 λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
ν˜„μž¬ μ—°κ΅¬λŠ” νŠΉμ • LLM μ•„ν‚€ν…μ²˜ 및 지식 μˆ˜μ • 방법둠에 κ΅­ν•œλ  수 있으며, 더 넓은 λ²”μœ„μ˜ λͺ¨λΈ 및 λ³΅μž‘ν•œ 지식 μˆ˜μ • μ‹œλ‚˜λ¦¬μ˜€μ— λŒ€ν•œ 좔가적인 검증이 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage