Sign In

From Out-of-Distribution Detection to Hallucination Detection: A Geometric View

Created by
  • Haebom
Category
Empty

μ €μž

Litian Liu, Reza Pourreza, Yubing Jian, Yao Qin, Roland Memisevic

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)의 ν™˜κ°(hallucination) 탐지λ₯Ό 아웃-였브-λ””μŠ€νŠΈλ¦¬λ·°μ…˜(OOD) 탐지 문제둜 μž¬ν•΄μ„ν•©λ‹ˆλ‹€. κΈ°μ‘΄ 질문-λ‹΅λ³€ 기반 ν™˜κ° 탐지 방법이 μΆ”λ‘  기반 μž‘μ—…μ—μ„œ μ„±λŠ₯이 μ €ν•˜λ˜λŠ” 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄, λ‹€μŒ 토큰 μ˜ˆμΈ‘μ„ λΆ„λ₯˜ 문제둜 κ°„μ£Όν•˜κ³  OOD 탐지 기법을 LLM ꡬ쑰에 맞게 μˆ˜μ •ν•˜μ—¬ μ μš©ν•©λ‹ˆλ‹€. 이λ₯Ό 톡해 ν›ˆλ ¨ 없이 단일 μƒ˜ν”Œλ‘œ ν™˜κ°μ„ νƒμ§€ν•˜λŠ” κ³ μ„±λŠ₯ κ²€μΆœκΈ°λ₯Ό κ°œλ°œν•˜μ—¬ LLM μ•ˆμ „μ„± 확보에 κΈ°μ—¬ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
ν™˜κ° 탐지λ₯Ό OOD 탐지 문제둜 μ ‘κ·Όν•¨μœΌλ‘œμ¨, LLM μ•ˆμ „μ„± 확보에 λŒ€ν•œ μƒˆλ‘­κ³  ν™•μž₯ κ°€λŠ₯ν•œ 방법둠을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ OOD 기반 μ ‘κ·Ό 방식은 λ³„λ„μ˜ ν›ˆλ ¨ 없이 단일 μƒ˜ν”Œλ§ŒμœΌλ‘œλ„ μΆ”λ‘  기반 μž‘μ—…μ—μ„œ μš°μˆ˜ν•œ ν™˜κ° 탐지 μ„±λŠ₯을 λ³΄μž…λ‹ˆλ‹€.
β€’
아직 μΆ”λ‘  λ³΅μž‘μ„±μ΄ 높은 νŠΉμ • μœ ν˜•μ˜ μΆ”λ‘  μž‘μ—…μ΄λ‚˜ 맀우 λ―Έλ¬˜ν•œ ν™˜κ°μ— λŒ€ν•œ 탐지 μ„±λŠ₯은 좔가적인 연ꡬ가 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘