Sign In

SKG-Eval: Stateful Evaluation of Multi-Turn Dialogue via Incremental Semantic Knowledge Graphs

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Avijit Shil, Suman Samui

πŸ’‘ κ°œμš”

λ³Έ 논문은 닀쀑 ν„΄ λŒ€ν™” μ‹œμŠ€ν…œμ˜ 응닡 ν’ˆμ§ˆμ„ ν‰κ°€ν•˜λŠ” κΈ°μ‘΄ λ°©λ²•λ‘ μ˜ ν•œκ³„λ₯Ό κ·Ήλ³΅ν•˜κ³ μž ν•©λ‹ˆλ‹€. λŒ€ν™”λ₯Ό μ μ§„μ μœΌλ‘œ λ°œμ „ν•˜λŠ” 의미둠적 지식 κ·Έλž˜ν”„(SKG)둜 λͺ¨λΈλ§ν•˜κ³ , 이λ₯Ό 기반으둜 지역적 κ΄€λ ¨μ„±, 역사적 일관성, 논리적 일관성을 ν‰κ°€ν•˜λŠ” SKG-Eval ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. SKG-Eval은 κΈ°μ‘΄ 평가 λ°©μ‹μœΌλ‘œλŠ” νƒμ§€ν•˜κΈ° μ–΄λ €μ› λ˜ μž₯기적인 였λ₯˜λ₯Ό 효과적으둜 κ°μ§€ν•˜κ³  인간 ν‰κ°€μ™€μ˜ 높은 상관관계λ₯Ό λ‹¬μ„±ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
λŒ€ν™”μ˜ μž₯기적인 λ§₯락을 효과적으둜 ν¬μ°©ν•˜κ³  ν‰κ°€ν•˜κΈ° μœ„ν•΄ 의미둠적 지식 κ·Έλž˜ν”„λ₯Ό ν™œμš©ν•˜λŠ” μƒˆλ‘œμš΄ μ ‘κ·Ό 방식을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
λͺ…μ‹œμ μΈ 증λͺ…μ„œμ™€ 결정둠적 점수λ₯Ό μ œκ³΅ν•˜μ—¬ ν‰κ°€μ˜ μž¬ν˜„μ„±κ³Ό 투λͺ…성을 λ†’μž…λ‹ˆλ‹€.
β€’
LLM 기반 ν‰κ°€μžμ— λŒ€ν•œ ν™•μž₯ κ°€λŠ₯ν•˜κ³  κ΅¬μ‘°ν™”λœ μ™ΈλΆ€ μƒνƒœ μΆ”μ μ˜ λŒ€μ•ˆμ„ μ œμ‹œν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λ°©λ²•λ‘ μ˜ νš¨μœ¨μ„±μ„ ν‰κ°€ν•˜κΈ° μœ„ν•΄ λ‹€μ–‘ν•œ λ²€μΉ˜λ§ˆν¬μ—μ„œ 인간 ν‰κ°€μ™€μ˜ 상관관계λ₯Ό λΆ„μ„ν•˜κ³  μž₯기적 뢈일치 탐지 λŠ₯λ ₯을 ν–₯μƒμ‹œμΌ°μŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage