Sign In

$\pi$-Bench: Evaluating Proactive Personal Assistant Agents in Long-Horizon Workflows

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Haoran Zhang, Luxin Xu, Zhilin Wang, Runquan Gui, Shunkai Zhang, Haodi Lei, Zihao He, Bingsu He, Chicheng Qin, Tong Zhu, Xiaoye Qu, Yang Yang, Yu Cheng, Yafu Li

πŸ’‘ κ°œμš”

λ³Έ 논문은 μ‚¬μš©μžμ˜ λͺ…μ‹œμ μΈ μš”κ΅¬μ‚¬ν•­ 이면에 μˆ¨κ²¨μ§„ μ˜λ„λ₯Ό νŒŒμ•…ν•˜κ³  μž₯기적인 μƒν˜Έμž‘μš©μ—μ„œ μ„ μ œμ μœΌλ‘œ μ§€μ›ν•˜λŠ” λŠ₯λ ₯을 ν‰κ°€ν•˜λŠ” μƒˆλ‘œμš΄ 벀치마크인 $\pi$-Benchλ₯Ό μ œμ•ˆν•œλ‹€. $\pi$-BenchλŠ” 5가지 μ‚¬μš©μž 페λ₯΄μ†Œλ‚˜μ— 걸쳐 100개의 λ©€ν‹°ν„΄ μž‘μ—…μ„ ν¬ν•¨ν•˜λ©°, μˆ¨κ²¨μ§„ μ‚¬μš©μž μ˜λ„, μž‘μ—… κ°„ μ˜μ‘΄μ„±, μ„Έμ…˜ κ°„ 연속성을 κ³ λ €ν•˜μ—¬ μ‹€μ œμ™€ μœ μ‚¬ν•œ ν™˜κ²½μ—μ„œ μ—μ΄μ „νŠΈμ˜ μ„ μ œμ  지원 λŠ₯λ ₯κ³Ό μž‘μ—… μ™„λ£Œ λŠ₯λ ₯을 λ™μ‹œμ— μΈ‘μ •ν•œλ‹€. μ‹€ν—˜ κ²°κ³Ό, μ„ μ œμ  지원은 μ—¬μ „νžˆ μ–΄λ €μš΄ 과제이며, μž‘μ—… μ™„λ£Œμ™€ μ„ μ œμ  지원은 λͺ…ν™•νžˆ κ΅¬λΆ„λ˜κ³ , 이전 μƒν˜Έμž‘μš©μ΄ 이후 μž‘μ—…μ—μ„œ μˆ¨κ²¨μ§„ μ˜λ„λ₯Ό νŒŒμ•…ν•˜λŠ” 데 μ€‘μš”ν•¨μ„ ν™•μΈν–ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
개인 λΉ„μ„œ μ—μ΄μ „νŠΈμ˜ μ‹€μ§ˆμ μΈ κ°€μΉ˜λ₯Ό ν‰κ°€ν•˜κΈ° μœ„ν•΄μ„œλŠ” μ‚¬μš©μžμ˜ μˆ¨κ²¨μ§„ μ˜λ„λ₯Ό νŒŒμ•…ν•˜λŠ” μ„ μ œμ  지원 λŠ₯λ ₯을 μΈ‘μ •ν•˜λŠ” 것이 ν•„μˆ˜μ μ΄λ‹€.
β€’
μž‘μ—… μ™„λ£Œ λŠ₯λ ₯λ§ŒμœΌλ‘œλŠ” μž₯기적인 λ³΅μž‘ν•œ μ‚¬μš©μž μš”κ΅¬λ₯Ό λ§Œμ‘±μ‹œν‚€λŠ” μ—μ΄μ „νŠΈμ˜ μ„±λŠ₯을 μΆ©λΆ„νžˆ 평가할 수 μ—†μœΌλ©°, μ„ μ œμ  지원 λŠ₯λ ₯κ³Ό ν•¨κ»˜ κ³ λ €ν•΄μ•Ό ν•œλ‹€.
β€’
$\pi$-BenchλŠ” μž₯기적인 μ‚¬μš©μž μƒν˜Έμž‘μš©μ—μ„œ μ„ μ œμ  지원 λŠ₯λ ₯을 ν‰κ°€ν•˜λŠ” 데 μ€‘μš”ν•œ 도ꡬλ₯Ό μ œκ³΅ν•˜μ§€λ§Œ, μ‹€μ œ μ„Έκ³„μ˜ λͺ¨λ“  λ³΅μž‘μ„±κ³Ό 닀양성을 μ™„λ²½ν•˜κ²Œ λ°˜μ˜ν•˜κΈ°μ—λŠ” ν•œκ³„κ°€ μžˆμ„ 수 있으며, ν–₯ν›„ 더 λ‹€μ–‘ν•œ μ‹œλ‚˜λ¦¬μ˜€μ™€ μ‚¬μš©μž λͺ¨λΈμ„ ν¬ν•¨ν•˜λŠ” λ°©ν–₯으둜 ν™•μž₯될 ν•„μš”κ°€ μžˆλ‹€.
πŸ‘
Made with Slashpage