Sign In

A Geometric Analysis of Small-sized Language Model Hallucinations

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Emanuele Ricco, Elia Onofri, Lorenzo Cima, Stefano Cresci, Roberto Di Pietro

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” 기쑴의 지식 뢀쑱이 μ•„λ‹Œ 검색 λΆˆμ•ˆμ •μ„±μœΌλ‘œ 인해 LLM ν™˜κ°μ΄ λ°œμƒν•¨μ„ 밝히고, 이λ₯Ό κΈ°ν•˜ν•™μ  κ΄€μ μ—μ„œ λΆ„μ„ν•˜λŠ” APORIA ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. APORIAλŠ” 같은 ν”„λ‘¬ν”„νŠΈμ— λŒ€ν•œ 반볡적인 μ‘λ‹΅μ˜ λ¬Έμž₯ μž„λ² λ”© κ³΅κ°„μ—μ„œμ˜ κΈ°ν•˜ν•™μ  νŒ¨ν„΄μ„ λΆ„μ„ν•˜μ—¬, ν™˜κ° 응닡과 μ‹€μ œ 응닡을 κ΅¬λΆ„ν•©λ‹ˆλ‹€. μ œμ•ˆλœ APORIA-LP 라벨 μ „νŒŒ 기법은 적은 수의 μ£Όμ„μœΌλ‘œλ„ 90% μ΄μƒμ˜ F1 점수λ₯Ό λ‹¬μ„±ν•˜λ©° μ†Œν˜• LLM의 ν™˜κ°μ„ 효과적으둜 νƒμ§€ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM ν™˜κ°μ€ λ‹¨μˆœν•œ 지식 뢀쑱을 λ„˜μ–΄, λ™μΌν•œ 정보에 λŒ€ν•œ 검색 결과의 λΆˆμ•ˆμ •μ„±μ—μ„œ 비둯될 수 μžˆμŒμ„ κΈ°ν•˜ν•™μ  뢄석을 톡해 규λͺ…ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
APORIA ν”„λ ˆμž„μ›Œν¬μ™€ APORIA-LP 라벨 μ „νŒŒ 기법은 LLM의 ν™˜κ°μ„ 효율적으둜 νƒμ§€ν•˜κ³  λΆ„λ₯˜ν•  수 μžˆλŠ” μƒˆλ‘œμš΄ 방법을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
λ³Έ μ—°κ΅¬λŠ” μƒˆλ‘œμš΄ 데이터셋(SOCRATES-300K)κ³Ό μ½”λ“œλ₯Ό κ³΅κ°œν•˜μ—¬ 후속 연ꡬλ₯Ό μ§€μ›ν•˜λ©°, ν™˜κ° μ—°κ΅¬μ˜ μƒˆλ‘œμš΄ 지평을 μ—΄μ—ˆμŠ΅λ‹ˆλ‹€.
β€’
μ†Œν˜• LLM에 λŒ€ν•œ μ‹€ν—˜ 결과이며, λŒ€ν˜• LLMμ—μ„œμ˜ νš¨κ³ΌλŠ” μΆ”κ°€ 검증이 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage