Sign In

TwinRouterBench: Fast Static and Live Dynamic Evaluation for Realistic Agentic LLM Routing

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Pei Yang, Wanyi Chen, Tongyun Yang, Pengbin Feng, Jiarong Xing, Wentao Guo, Yuhang Yao, Yuhang Han, Hanchen Li, Xu Wang, Zeyu Wang, Jie Xiao, Anjie Yang, Liang Tian, Lynn Ai, Eric Yang, Tianyu Shi

πŸ’‘ κ°œμš”

λ³Έ 논문은 μ½”λ”© μ—μ΄μ „νŠΈμ™€ 같은 μž₯기적인 μ‘μš© λΆ„μ•Όμ—μ„œ LLM λΌμš°νŒ…μ˜ μ€‘μš”μ„±μ„ κ°•μ‘°ν•˜λ©°, λ‹¨μˆœνžˆ μ €λ ΄ν•œ λͺ¨λΈμ„ μ„ νƒν•˜λŠ” 것을 λ„˜μ–΄ 쀑간 λ‹¨κ³„μ˜ λΌμš°νŒ… 결정이 μ΅œμ’… μž‘μ—… 성곡에 λ―ΈμΉ˜λŠ” 영ν–₯을 ν‰κ°€ν•˜λŠ” 문제λ₯Ό μ œκΈ°ν•©λ‹ˆλ‹€. 이λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄, λ³Έ μ—°κ΅¬λŠ” 정적 및 동적 평가 νŠΈλž™μ„ λͺ¨λ‘ ν¬ν•¨ν•˜λŠ” μƒˆλ‘œμš΄ 벀치마크인 TwinRouterBenchλ₯Ό μ œμ•ˆν•˜λ©°, μ΄λŠ” μ‹€μ œ μ‹œλ‚˜λ¦¬μ˜€μ™€ μœ μ‚¬ν•œ μ‘°κ±΄μ—μ„œ λΌμš°ν„°μ˜ μ„±λŠ₯을 ν‰κ°€ν•©λ‹ˆλ‹€. μ£Όμš” μ„±κ³ΌλŠ” μ˜€ν”„λΌμΈ 반볡 평가와 μ‹€μ œ μ—μ΄μ „νŠΈ 싀행을 ν†΅ν•œ 쒅단 κ°„ 검증을 μ§€μ›ν•˜λŠ” 포괄적인 벀치마크λ₯Ό μ œκ³΅ν•œλ‹€λŠ” μ μž…λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
쀑간 단계 λΌμš°νŒ… κ²°μ •μ˜ μ€‘μš”μ„± κ°•μ‘°: κΈ°μ‘΄ λ²€μΉ˜λ§ˆν¬μ™€ 달리, TwinRouterBenchλŠ” μ—μ΄μ „νŠΈμ˜ 각 쀑간 λ‹¨κ³„μ—μ„œ λ°œμƒν•˜λŠ” λΌμš°νŒ… 결정이 μ΅œμ’… μž‘μ—… 성곡과 λΉ„μš©μ— λ―ΈμΉ˜λŠ” 영ν–₯을 ν‰κ°€ν•˜μ—¬ μ‹€μ œ LLM λΌμš°νŒ…μ˜ λ³΅μž‘μ„±μ„ λ°˜μ˜ν•©λ‹ˆλ‹€.
β€’
μ‹€ν–‰ 검증 기반의 μ‹ λ’°μ„± 높은 평가: 온라인 LLM μ‹¬νŒμ— μ˜μ‘΄ν•˜λŠ” λŒ€μ‹ , μ‹€μ œ 싀행을 톡해 κ²€μ¦λœ νƒ€κ²Ÿ ν‹°μ–΄λ₯Ό μ‚¬μš©ν•˜κ³  결정둠적 μ‚°μˆ  점수 체계λ₯Ό μ μš©ν•˜μ—¬ ν‰κ°€μ˜ μ‹ λ’°μ„±κ³Ό μž¬ν˜„μ„±μ„ λ†’μž…λ‹ˆλ‹€.
β€’
μ˜€ν”„λΌμΈ 반볡 및 μ‹€μ‹œκ°„ 검증 κ°€λŠ₯: 정적 νŠΈλž™μ€ λΉ λ₯Έ μ˜€ν”„λΌμΈ λ°˜λ³΅μ„ κ°€λŠ₯ν•˜κ²Œ ν•˜κ³ , 동적 νŠΈλž™μ€ μ‹€μ œ μ—μ΄μ „νŠΈ μ‹€ν–‰ ν™˜κ²½μ—μ„œ 쒅단 κ°„ 검증을 μ§€μ›ν•˜μ—¬ 개발 ν”„λ‘œμ„ΈμŠ€λ₯Ό νš¨μœ¨ν™”ν•©λ‹ˆλ‹€.
β€’
데이터셋 규λͺ¨ 및 λ‹€μ–‘μ„±: 520개의 μΈμŠ€ν„΄μŠ€μ— 걸쳐 970개의 λΌμš°ν„° κ°€μ‹œ 접두사λ₯Ό ν¬ν•¨ν•˜λŠ” 정적 νŠΈλž™κ³Ό 500개의 SWE-bench 검증 μŠ€μœ„νŠΈλ₯Ό μ‚¬μš©ν•˜λŠ” 동적 νŠΈλž™μ€ λ‹€μ–‘ν•œ μ‹œλ‚˜λ¦¬μ˜€μ—μ„œμ˜ λΌμš°ν„° μ„±λŠ₯ 평가λ₯Ό κ°€λŠ₯ν•˜κ²Œ ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage