Sign In

From Reactive to Proactive: Assessing the Proactivity of Voice Agents via ProVoice-Bench

Created by
  • Haebom
Category
Empty

μ €μž

Ke Xu, Yuhao Wang, Yu Wang

πŸ’‘ κ°œμš”

λ³Έ 논문은 μŒμ„± μ—μ΄μ „νŠΈμ˜ λ°˜μ‘μ  νŠΉμ„±μ„ λ„˜μ–΄μ„  λŠ₯동적(proactive) μƒν˜Έμž‘μš© ν‰κ°€μ˜ ν•„μš”μ„±μ„ μ œκΈ°ν•©λ‹ˆλ‹€. 이λ₯Ό μœ„ν•΄ λŠ₯동적 μŒμ„± μ—μ΄μ „νŠΈ 평가λ₯Ό μœ„ν•œ 졜초의 ν”„λ ˆμž„μ›Œν¬μΈ ProVoice-Benchλ₯Ό μ œμ•ˆν•˜λ©°, 1,182개의 κ³ ν’ˆμ§ˆ 데이터 μƒ˜ν”Œμ„ κ΅¬μΆ•ν•˜μ—¬ μ΅œμ‹  λ©€ν‹°λͺ¨λ‹¬ LLM의 μ„±λŠ₯을 ν‰κ°€ν–ˆμŠ΅λ‹ˆλ‹€. 평가 κ²°κ³Ό, ν˜„μž¬ λͺ¨λΈλ“€μ€ λŠ₯동적 κ°œμž… μ‹œ κ³Όλ„ν•œ 트리거링 및 μΆ”λ‘  λŠ₯λ ₯μ—μ„œ μƒλ‹Ήν•œ μ„±λŠ₯ 격차λ₯Ό λ³΄μ˜€μŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
ν˜„μž¬ μŒμ„± μ—μ΄μ „νŠΈ μ—°κ΅¬λŠ” 주둜 λ°˜μ‘μ  μƒν˜Έμž‘μš©μ— μ§‘μ€‘λ˜μ–΄ 있으며, λŠ₯동적 κ°œμž… 및 λͺ¨λ‹ˆν„°λ§κ³Ό 같은 λ³΅μž‘ν•œ λŠ₯동적 행동을 평가할 수 μžˆλŠ” 도ꡬ가 λΆ€μ‘±ν•©λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ ProVoice-BenchλŠ” λŠ₯동적 μŒμ„± μ—μ΄μ „νŠΈμ˜ μ„±λŠ₯을 μ’…ν•©μ μœΌλ‘œ 평가할 수 μžˆλŠ” 졜초의 ν”„λ ˆμž„μ›Œν¬λ‘œμ„œ, ν–₯ν›„ κ΄€λ ¨ 연ꡬ λ°œμ „μ— κΈ°μ—¬ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
μ΅œμ‹  λ©€ν‹°λͺ¨λ‹¬ LLM의 λŠ₯동적 μŒμ„± μ—μ΄μ „νŠΈλ‘œμ„œμ˜ μ„±λŠ₯은 아직 λΆ€μ‘±ν•˜λ©°, 특히 λΆˆν•„μš”ν•œ κ°œμž…(over-triggering)을 쀄이고 λ§₯락을 κ³ λ €ν•œ μΆ”λ‘  λŠ₯λ ₯을 ν–₯μƒμ‹œν‚€λŠ” 것이 μ€‘μš”ν•œ κ³Όμ œμž…λ‹ˆλ‹€.
πŸ‘
Made with Slashpage