Sign In

Hallucination Detection-Guided Preference Optimization for Clinical Summarization

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Shamanth Kuthpadi Seethakantha, Dung Ngoc Thai, Vara Prasad Gudi, Simran Tiwari, Rami Matar, Avijit Mitra, Wenlong Zhao, Andrew McCallum, Wael Salloum

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” μž„μƒ μš”μ•½μ—μ„œ LLM의 ν™˜κ°(hallucination) 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ ν™˜κ° 탐지기λ₯Ό ν™œμš©ν•œ μƒˆλ‘œμš΄ 방법둠을 μ œμ•ˆν•©λ‹ˆλ‹€. μ œμ•ˆλœ 두 가지 방법둠인 "Hallucination Detection-Guided Preference Optimization" (itermodel)κ³Ό "Hallucination Detection-Guided Preference Optimization for Preference Learning" (model)은 μš”μ•½μ˜ 사싀성을 κ°œμ„ ν•˜κ³  ν™˜κ°μ„ 효과적으둜 μ€„μž…λ‹ˆλ‹€. μ‹€ν—˜ κ²°κ³Ό, Llama 및 Gemma λͺ¨λΈμ—μ„œ ν™˜κ°μ΄ 크게 κ°μ†Œν–ˆμœΌλ©°, μš”μ•½μ˜ μœ μ°½μ„±, 일관성 및 관련성도 μœ μ§€λ¨μ„ μž…μ¦ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
ν™˜κ° 탐지기λ₯Ό ν™œμš©ν•œ 반볡적인 μš”μ•½ κ°œμ„ μ΄ μž„μƒ μš”μ•½μ˜ 사싀성을 λ†’μ΄λŠ” 효과적인 μ „λž΅μž„μ„ λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
탐지기 기반 κ°œμ„  경둜λ₯Ό μ„ ν˜Έλ„ 쌍으둜 λ³€ν™˜ν•˜μ—¬ λͺ¨λΈ λ―Έμ„Έ μ‘°μ •ν•˜λŠ” 방식이 ν™˜κ° κ°μ†Œμ— νš¨κ³Όμ μž„μ„ μž…μ¦ν•©λ‹ˆλ‹€.
β€’
μ œμ‹œλœ 방법둠은 Llama 및 Gemma와 같은 μ΅œμ‹  LLMμ—μ„œ ν™˜κ°μ„ μœ μ˜λ―Έν•˜κ²Œ 쀄이며, μž„μƒ μ •λ³΄μ˜ 정확성을 λ†’μ΄λŠ” 데 κΈ°μ—¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
ν™˜κ° νƒμ§€κΈ°μ˜ μ„±λŠ₯ 자체 λ˜λŠ” 탐지기와 생성 λͺ¨λΈ κ°„μ˜ μƒν˜Έ μž‘μš©μ— λŒ€ν•œ 좔가적인 연ꡬ가 ν•„μš”ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage