Sign In

APCD: Adaptive Path-Contrastive Decoding for Reliable Large Language Model Generation

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Tianyu Zheng, Hong Wu, Jiaji Zhong

πŸ’‘ κ°œμš”

λ³Έ 논문은 λŒ€κ·œλͺ¨ μ–Έμ–΄ λͺ¨λΈ(LLM)의 ν™˜κ° ν˜„μƒ(hallucination) 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ μ μ‘ν˜• 경둜-λŒ€μ‘° λ””μ½”λ”©(APCD)μ΄λΌλŠ” μƒˆλ‘œμš΄ 닀쀑 경둜 λ””μ½”λ”© ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. APCDλŠ” 예츑 λΆˆν™•μ‹€μ„±μ΄ 높을 λ•Œλ§Œ λΆ„κΈ°ν•˜μ—¬ 경둜 탐색을 μ§€μ—°μ‹œν‚€κ³ , 경둜 κ°„μ˜ μƒν˜Έμž‘μš©μ„ λ™μ μœΌλ‘œ μ‘°μ ˆν•˜μ—¬ μƒμ„±μ˜ 신뒰성을 λ†’μž…λ‹ˆλ‹€. μ—¬λŸ¬ λ²€μΉ˜λ§ˆν¬μ—μ„œμ˜ μ‹€ν—˜ κ²°κ³Ό, κΈ°μ‘΄ 방법 λŒ€λΉ„ 사싀적 정확도λ₯Ό ν–₯μƒμ‹œν‚€λ©΄μ„œλ„ λ””μ½”λ”© νš¨μœ¨μ„±μ„ μœ μ§€ν•˜λŠ” μ„±κ³Όλ₯Ό λ³΄μ˜€μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM의 ν™˜κ° ν˜„μƒμ„ μ™„ν™”ν•˜κ³  생성 신뒰성을 높이기 μœ„ν•œ 효과적인 닀쀑 경둜 λ””μ½”λ”© μ „λž΅μ„ μ œμ‹œν•©λ‹ˆλ‹€.
β€’
예츑 λΆˆν™•μ‹€μ„±μ„ 기반으둜 ν•˜λŠ” 동적 경둜 ν™•μž₯ 및 경둜 κ°„ μƒν˜Έμž‘μš© μ‘°μ ˆμ„ 톡해 μ„±λŠ₯을 ν–₯μƒμ‹œν‚΅λ‹ˆλ‹€.
β€’
λ‹€μ–‘ν•œ λ²€μΉ˜λ§ˆν¬μ—μ„œ μ‹€ν—˜μ μœΌλ‘œ κ²€μ¦λœ μš°μˆ˜ν•œ μ„±λŠ₯κ³Ό νš¨μœ¨μ„±μ„ μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.
β€’
νŠΉμ • λͺ¨λΈ μ•„ν‚€ν…μ²˜λ‚˜ 데이터셋에 λŒ€ν•œ 좔가적인 검증이 ν•„μš”ν•  수 있으며, APCD의 계산 λ³΅μž‘μ„±μ— λŒ€ν•œ 더 κΉŠμ€ 뢄석이 ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage