Sign In

From Flat Facts to Sharp Hallucinations: Detecting Stubborn Errors via Gradient Sensitivity

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Yee Zhing Liew, Andrew Huey Ping Tan, Anwar P. P. Abdul Majeed

πŸ’‘ κ°œμš”

기쑴의 ν™˜κ° 탐지 방법둠은 LLM이 확신을 가지고 ν‹€λ¦¬λŠ” "κ³ μ§‘μŠ€λŸ¬μš΄ ν™˜κ°(stubborn hallucinations)"을 효과적으둜 νƒμ§€ν•˜μ§€ λͺ»ν•œλ‹€λŠ” 문제λ₯Ό μ œκΈ°ν•©λ‹ˆλ‹€. λ³Έ μ—°κ΅¬λŠ” μ΄λŸ¬ν•œ κ³ μ§‘μŠ€λŸ¬μš΄ ν™˜κ°μ΄ λΆˆμ•ˆμ •ν•œ μ•”κΈ°λ₯Ό 톡해 λ‚ μΉ΄λ‘œμš΄ μ΅œμ†Œκ°’(sharp minima)에 μœ„μΉ˜ν•˜λ©°, 반면 κ²¬κ³ ν•œ 사싀은 ν‰νƒ„ν•œ μ΅œμ†Œκ°’(flat minima)에 μ‘΄μž¬ν•œλ‹€λŠ” 가섀을 기반으둜 ν•©λ‹ˆλ‹€. 이λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ μž…λ ₯ μž„λ² λ”©μ„ κ°€μš°μ‹œμ•ˆ λ…Έμ΄μ¦ˆλ‘œ κ΅λž€ν•˜μ—¬ κ·Έλž˜λ””μ–ΈνŠΈ 크기의 κΈ‰κ²©ν•œ λ³€ν™”λ₯Ό μΈ‘μ •ν•˜λŠ” μž„λ² λ”© κ΅λž€ κ·Έλž˜λ””μ–ΈνŠΈ 민감도(EPGS)λΌλŠ” κΈ°ν•˜ν•™μ  μ ‘κ·Ό 방식을 μ œμ•ˆν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
EPGSλŠ” 기쑴의 μ—”νŠΈλ‘œν”Ό 및 ν‘œν˜„ 기반 방법둠보닀 κ³ μ§‘μŠ€λŸ¬μš΄ ν™˜κ° 탐지에 μžˆμ–΄ ν˜„μ €νžˆ μš°μˆ˜ν•œ μ„±λŠ₯을 보여, 높은 μ‹ λ’°λ„μ˜ 사싀적 였λ₯˜λ₯Ό νƒμ§€ν•˜λŠ” κ°•λ ₯ν•œ μ‹ ν˜Έλ₯Ό μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ EPGSλŠ” Hessian μŠ€νŽ™νŠΈλŸΌμ˜ 효율적인 ν”„λ‘μ‹œ 역할을 ν•˜μ—¬, μ•ˆμ •μ μΈ 지식과 λΆˆμ•ˆμ •ν•œ μ•”κΈ°λ₯Ό κ΅¬λΆ„ν•˜λŠ” 데 κΈ°μ—¬ν•©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” EPGSκ°€ Hessian μŠ€νŽ™νŠΈλŸΌμ˜ 효율적인 ν”„λ‘μ‹œ 역할을 ν•  수 μžˆμŒμ„ μ‹€ν—˜μ μœΌλ‘œ μž…μ¦ν•˜μ˜€μœΌλ‚˜, μ‹€μ œ λ³΅μž‘ν•˜κ³  λ‹€μ–‘ν•œ LLM μ‘μš© ν™˜κ²½μ—μ„œμ˜ ν™•μž₯μ„±κ³Ό μΌλ°˜ν™” μ„±λŠ₯에 λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage