Sign In

Ambig-DS: A Benchmark for Task-Framing Ambiguity in Data-Science Agents

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Josefa Lia Stoisser, Marc Boubnovski Martell, Sidsel Boldsen, Kaspar Martens, Robert Kitchen

πŸ’‘ κ°œμš”

λ³Έ 논문은 데이터 κ³Όν•™ μ—μ΄μ „νŠΈκ°€ 자율적으둜 μž‘μ—…ν•˜λŠ” κ³Όμ •μ—μ„œ λ°œμƒν•˜λŠ” 'μž‘μ—… ν”„λ ˆμ΄λ° λͺ¨ν˜Έμ„±' 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•œ μƒˆλ‘œμš΄ 벀치마크인 Ambig-DSλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. Ambig-DSλŠ” 예츑 λͺ©ν‘œ λͺ¨ν˜Έμ„±κ³Ό 평가 λͺ©ν‘œ λͺ¨ν˜Έμ„±μ„ μ§„λ‹¨ν•˜κΈ° μœ„ν•œ 두 가지 λ°μ΄ν„°μ…‹μœΌλ‘œ κ΅¬μ„±λ˜λ©°, κΈ°μ‘΄ λ²€μΉ˜λ§ˆν¬μ™€ 달리 μ—μ΄μ „νŠΈκ°€ μž‘μ—…μ˜ λΆˆλΆ„λͺ…성을 μΈμ§€ν•˜λŠ” λŠ₯λ ₯을 ν‰κ°€ν•©λ‹ˆλ‹€. μ‹€ν—˜ κ²°κ³Ό, μ—μ΄μ „νŠΈλ“€μ€ λͺ¨ν˜Έν•œ μž‘μ—… ν”„λ ˆμ΄λ°μœΌλ‘œ 인해 잘λͺ»λœ 예츑 λͺ©ν‘œλ₯Ό μ„€μ •ν•˜κ±°λ‚˜ λΆ€μ μ ˆν•œ 평가 μ§€ν‘œλ₯Ό μ„ νƒν•˜λŠ” λ“±μ˜ 'μ‘°μš©ν•œ μ‹€νŒ¨'λ₯Ό λ³΄μ˜€μœΌλ©°, λͺ…ν™•ν•œ 질문 κΈ°λŠ₯이 일뢀 μ„±λŠ₯을 νšŒλ³΅μ‹œν‚¬ 수 μžˆμŒμ„ μ‹œμ‚¬ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
데이터 κ³Όν•™ μ—μ΄μ „νŠΈμ˜ μ„±λŠ₯ ν‰κ°€μ—μ„œ νŒŒμ΄ν”„λΌμΈ μ‹€ν–‰ κ°€λŠ₯μ„±λΏλ§Œ μ•„λ‹ˆλΌ μž‘μ—… ν”„λ ˆμ΄λ°μ˜ λͺ…확성을 μΈμ§€ν•˜λŠ” λŠ₯λ ₯이 핡심적인 병λͺ© μ§€μ μž„μ„ λ³΄μ—¬μ€λ‹ˆλ‹€.
β€’
μ—μ΄μ „νŠΈκ°€ λͺ¨ν˜Έμ„±μ„ μΈμ§€ν•˜κ³  λͺ…ν™•ν™” μ§ˆλ¬Έμ„ ν™œμš©ν•˜λŠ” 것이 μ€‘μš”ν•˜μ§€λ§Œ, μ–΄λ–€ μƒν™©μ—μ„œ μ§ˆλ¬Έμ„ μ‚¬μš©ν•΄μ•Ό ν•˜λŠ”μ§€μ— λŒ€ν•œ μ—μ΄μ „νŠΈμ˜ νŒλ‹¨ λŠ₯λ ₯이 뢀쑱함을 λ“œλŸ¬λƒ…λ‹ˆλ‹€.
β€’
μ œμ•ˆλœ λ²€μΉ˜λ§ˆν¬λŠ” 이상적인 μ‘°κ±΄μ—μ„œμ˜ μ—μ΄μ „νŠΈ μ„±λŠ₯을 ν‰κ°€ν•˜μ§€λ§Œ, μ‹€μ œ λ³΅μž‘ν•˜κ³  예츑 λΆˆκ°€λŠ₯ν•œ ν™˜κ²½μ—μ„œμ˜ μ—μ΄μ „νŠΈ 행동을 μ™„μ „νžˆ λ°˜μ˜ν•˜μ§€λŠ” λͺ»ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage