Sign In

HAI-Eval: Measuring Human-AI Synergy in Collaborative Coding

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Hanjun Luo, Chiming Ni, Jiaheng Wen, Zhimu Huang, Yiran Wang, Bingduo Liao, Sylvia Chung, Yingbin Jin, Xinfeng Li, Wenyuan Xu, XiaoFeng Wang, Hanan Salam

πŸ’‘ κ°œμš”

λ³Έ 논문은 LLM 기반 μ½”λ”© μ—μ΄μ „νŠΈμ˜ λ“±μž₯으둜 λ³€ν™”ν•˜λŠ” 개발 νŒ¨λŸ¬λ‹€μž„μ„ λ°˜μ˜ν•˜μ—¬, 인간과 AI의 ν˜‘μ—… μ½”λ”© μ‹œλ„ˆμ§€λ₯Ό μΈ‘μ •ν•˜λŠ” μƒˆλ‘œμš΄ 벀치마크인 HAI-Eval을 μ œμ•ˆν•©λ‹ˆλ‹€. HAI-Eval은 λ‹¨λ…μœΌλ‘œλŠ” ν’€κΈ° μ–΄λ €μš΄ "ν˜‘μ—… ν•„μˆ˜" 문제 ν…œν”Œλ¦Ώμ„ μ‚¬μš©ν•˜μ—¬ 인간과 AI의 효과적인 ν˜‘λ ₯을 톡해 ν•΄κ²° κ°€λŠ₯ν•œ 과제λ₯Ό μƒμ„±ν•˜λ©°, 이λ₯Ό 톡해 κΈ°μ‘΄ 평가 λ°©μ‹μ˜ ν•œκ³„λ₯Ό κ·Ήλ³΅ν•©λ‹ˆλ‹€. μ‹€ν—˜ κ²°κ³Ό, 인간-AI ν˜‘μ—…μ΄ λ‹¨λ…μœΌλ‘œ μˆ˜ν–‰ν•˜λŠ” 것보닀 훨씬 높은 성곡λ₯ μ„ λ³΄μ˜€μœΌλ©°, μ΄λŠ” 인간과 AI κ°„μ˜ μƒν˜Έ μΆ”λ‘  νŒŒνŠΈλ„ˆμ‹­μ΄ emergent함을 μ‹œμ‚¬ν•©λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
인간과 AI의 μ½”λ”© ν˜‘μ—… λŠ₯λ ₯을 μΈ‘μ •ν•˜λŠ” ν‘œμ€€ν™”λœ 벀치마크의 ν•„μš”μ„±μ„ μ œμ‹œν•˜λ©°, 미래 μ½”λ”© μ—μ΄μ „νŠΈ ν‰κ°€μ˜ μƒˆλ‘œμš΄ λ°©ν–₯을 μ œμ‹œν•©λ‹ˆλ‹€.
β€’
인간과 AI κ°„μ˜ ν˜‘λ ₯이 기쑴의 인간-도ꡬ 계측 ꡬ쑰λ₯Ό λ„˜μ–΄μ„  μƒˆλ‘œμš΄ ν˜•νƒœμ˜ νŒŒνŠΈλ„ˆμ‹­μ„ ν˜•μ„±ν•  수 μžˆμŒμ„ μ‹œμ‚¬ν•©λ‹ˆλ‹€.
β€’
ν˜„μž¬ λ²€μΉ˜λ§ˆν¬λŠ” νŠΉμ • μœ ν˜•μ˜ ν˜‘μ—… λ¬Έμ œμ— μ΄ˆμ μ„ λ§žμΆ”κ³  있으며, μ‹€μ œ 개발 κ³Όμ •μ—μ„œ λ°œμƒν•˜λŠ” λ‹€μ–‘ν•œ μ’…λ₯˜μ˜ 인간-AI μƒν˜Έμž‘μš©μ„ λͺ¨λ‘ ν¬κ΄„ν•˜κΈ°μ—λŠ” μ œν•œμ μΌ 수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage