Sign In

ChromaFlow: A Negative Ablation Study of Orchestration Overhead in Tool-Augmented Agent Evaluation

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Tarun Mittal

πŸ’‘ κ°œμš”

λ³Έ 논문은 μ–Έμ–΄ λͺ¨λΈ 기반 자율 μ—μ΄μ „νŠΈμ˜ λ³΅μž‘ν•œ κΈ°λŠ₯ μˆ˜ν–‰ μ‹œ λ°œμƒν•˜λŠ” μ˜€μΌ€μŠ€νŠΈλ ˆμ΄μ…˜ μ˜€λ²„ν—€λ“œλ₯Ό λΆ„μ„ν•˜κΈ° μœ„ν•œ ChromaFlow ν”„λ ˆμž„μ›Œν¬λ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. GAIA 2023 Level-1 데이터셋을 ν™œμš©ν•œ μ‹€ν—˜ κ²°κ³Ό, 기쑴보닀 λ³΅μž‘ν•œ μ˜€μΌ€μŠ€νŠΈλ ˆμ΄μ…˜μ„ μ μš©ν–ˆμ„ λ•Œ μ΅œμ’… μ„±λŠ₯ ν–₯상 없이 였히렀 μ‹€νŒ¨μœ¨κ³Ό λΉ„μš©λ§Œ μ¦κ°€ν•˜λŠ” 뢀정적 영ν–₯(negative ablation)을 ν™•μΈν–ˆμŠ΅λ‹ˆλ‹€. μ΄λŠ” μ—μ΄μ „νŠΈ 평가 μ‹œ μ˜€μΌ€μŠ€νŠΈλ ˆμ΄μ…˜μ˜ νš¨μœ¨μ„±μ΄ μ€‘μš”ν•¨μ„ μ‹œμ‚¬ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
자율 μ—μ΄μ „νŠΈμ˜ λ³΅μž‘μ„± μ¦κ°€λŠ” μ„±λŠ₯ ν–₯상뿐 μ•„λ‹ˆλΌ μš΄μ˜μƒμ˜ μ‹€νŒ¨ λͺ¨λ“œ 증가λ₯Ό μ•ΌκΈ°ν•˜λ―€λ‘œ, μ˜€μΌ€μŠ€νŠΈλ ˆμ΄μ…˜ μ˜€λ²„ν—€λ“œμ— λŒ€ν•œ μ‹ μ€‘ν•œ κ³ λ €κ°€ ν•„μš”ν•©λ‹ˆλ‹€.
β€’
λ‹¨μˆœν•œ μ˜€μΌ€μŠ€νŠΈλ ˆμ΄μ…˜ κ°•ν™”κ°€ λ°˜λ“œμ‹œ μ„±λŠ₯ ν–₯μƒμœΌλ‘œ μ΄μ–΄μ§€λŠ” 것은 μ•„λ‹ˆλ©°, 였히렀 λΆˆμ•ˆμ •μ„±μ„ μ¦κ°€μ‹œν‚¬ 수 μžˆμŒμ„ μ‹€ν—˜μ μœΌλ‘œ λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
μ‹ λ’°ν•  수 μžˆλŠ” 자율 μ—μ΄μ „νŠΈ 평가λ₯Ό μœ„ν•΄μ„œλŠ” λͺ…ν™•ν•œ 톡합 μ œμ–΄, κ³΅κΈ‰μž μƒνƒœ 관리, μ‹€ν–‰ μ œμ–΄μ™€ 같은 μš”μ†Œλ“€μ΄ μš°μ„ μ μœΌλ‘œ κ³ λ €λ˜μ–΄μ•Ό ν•©λ‹ˆλ‹€.
πŸ‘
Made with Slashpage