Sign In

$\pi$-Bench: Evaluating Proactive Personal Assistant Agents in Long-Horizon Workflows

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Haoran Zhang, Luxin Xu, Zhilin Wang, Runquan Gui, Shunkai Zhang, Haodi Lei, Zihao He, Bingsu He, Chicheng Qin, Tong Zhu, Xiaoye Qu, Yang Yang, Yu Cheng, Yafu Li

πŸ’‘ κ°œμš”

λ³Έ 논문은 μ‚¬μš©μžμ˜ λͺ…μ‹œμ μΈ μš”κ΅¬μ‚¬ν•­μ΄ λΆ€μ‘±ν•˜κ±°λ‚˜ μˆ¨κ²¨μ§„ μ˜λ„λ₯Ό νŒŒμ•…ν•˜μ—¬ μž₯기적인 λ§₯λ½μ—μ„œ λŠ₯λ™μ μœΌλ‘œ μ§€μ›ν•˜λŠ” 개인 λΉ„μ„œ μ—μ΄μ „νŠΈμ˜ λŠ₯λ ₯을 ν‰κ°€ν•˜κΈ° μœ„ν•œ $\pi$-BenchλΌλŠ” μƒˆλ‘œμš΄ 벀치마크λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. $\pi$-BenchλŠ” 100개의 닀쀑 ν„΄(multi-turn) μž‘μ—…κ³Ό μˆ¨κ²¨μ§„ μ‚¬μš©μž μ˜λ„, μž‘μ—… κ°„ μ˜μ‘΄μ„±, μ„Έμ…˜ κ°„ 연속성을 ν¬ν•¨ν•˜μ—¬ μ‹€μ œ μ‚¬μš© μ‹œλ‚˜λ¦¬μ˜€λ₯Ό λ°˜μ˜ν•©λ‹ˆλ‹€. μ‹€ν—˜ κ²°κ³Ό, μ—μ΄μ „νŠΈμ˜ λŠ₯동적 지원은 μ—¬μ „νžˆ μ–΄λ ΅κ³ , μž‘μ—… μ™„λ£Œ λŠ₯λ ₯κ³Ό λŠ₯동성 사이에 λͺ…ν™•ν•œ ꡬ뢄이 있으며, 이전 μƒν˜Έμž‘μš©μ΄ 후속 μž‘μ—…μ˜ λŠ₯동적 μ˜λ„ 해결에 κ°€μΉ˜κ°€ μžˆμŒμ„ λ³΄μ—¬μ€λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
ν˜„μž¬ 개인 λΉ„μ„œ μ—μ΄μ „νŠΈλŠ” μ‚¬μš©μžμ˜ μˆ¨κ²¨μ§„ μ˜λ„λ₯Ό νŒŒμ•…ν•˜κ³  μ„ μ œμ μœΌλ‘œ μ§€μ›ν•˜λŠ” 데 어렀움을 κ²ͺκ³  μžˆμŠ΅λ‹ˆλ‹€.
β€’
λŠ₯동적 지원 λŠ₯λ ₯κ³Ό μž‘μ—…μ„ μ„±κ³΅μ μœΌλ‘œ μ™„λ£Œν•˜λŠ” λŠ₯λ ₯은 μ„œλ‘œ λ‹€λ₯Έ μ°¨μ›μ˜ 평가가 ν•„μš”ν•©λ‹ˆλ‹€.
β€’
$\pi$-BenchλŠ” μ‹€μ œ 개인 λΉ„μ„œ ν™œμš© μ‹œλ‚˜λ¦¬μ˜€λ₯Ό 더 잘 λ°˜μ˜ν•˜λŠ” μž₯기적이고 λŠ₯동적인 지원 λŠ₯λ ₯을 ν‰κ°€ν•˜λŠ” 데 μ€‘μš”ν•œ κΈ°μ—¬λ₯Ό ν•©λ‹ˆλ‹€.
β€’
ν–₯ν›„ μ—°κ΅¬λŠ” 더 λ³΅μž‘ν•˜κ³  예츑 λΆˆκ°€λŠ₯ν•œ μ‹€μ œ μ‚¬μš©μž ν™˜κ²½μ—μ„œμ˜ μ—μ΄μ „νŠΈ λŠ₯동성을 κ°œμ„ ν•˜λŠ” 데 μ΄ˆμ μ„ λ§žμΆ°μ•Ό ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage