Sign In

DPBench: Large Language Models Struggle with Simultaneous Coordination

Created by
  • Haebom
Category
Empty

μ €μž

Najmul Hasan, Prashanth BusiReddyGari

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” κ±°λŒ€ μ–Έμ–΄ λͺ¨λΈ(LLM)이 μžμ› κ²½ν•© μƒν™©μ—μ„œ λ™μ‹œ μ˜μ‚¬κ²°μ • μ‹œ ν˜‘λ ₯ν•˜λŠ” λŠ₯λ ₯을 ν‰κ°€ν•˜κΈ° μœ„ν•œ μƒˆλ‘œμš΄ 벀치마크인 DPBenchλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. DPBenchλŠ” μ‹μ‚¬ν•˜λŠ” μ² ν•™μž 문제λ₯Ό 기반으둜 ν•˜λ©°, LLM듀이 λ™μ‹œ μ˜μ‚¬κ²°μ • μ‹œ μ‹¬κ°ν•œ ν˜‘λ ₯ μ‹€νŒ¨μ™€ ꡐ착 μƒνƒœμ— λΉ μ§„λ‹€λŠ” 것을 μ‹€ν—˜μ μœΌλ‘œ λ³΄μ—¬μ€λ‹ˆλ‹€. μ΄λŸ¬ν•œ μ‹€νŒ¨λŠ” λ…λ¦½μ μœΌλ‘œ λ™μΌν•œ μ „λž΅μ„ μˆ˜λ ΄ν•˜λŠ” LLM의 μΆ”λ‘  방식 λ•Œλ¬Έμ΄λ©°, 톡신 κΈ°λŠ₯ ν™œμ„±ν™”λ„ 문제 해결에 도움이 λ˜μ§€ μ•ŠμŒμ„ λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
LLM은 순차적인 κ²°μ • μƒν™©μ—μ„œλŠ” ν˜‘λ ₯을 잘 μˆ˜ν–‰ν•˜μ§€λ§Œ, λ™μ‹œ μ˜μ‚¬κ²°μ • μƒν™©μ—μ„œλŠ” ν˜„μ €νžˆ μ·¨μ•½ν•˜μ—¬ μ‹¬κ°ν•œ ꡐ착 μƒνƒœλ₯Ό μ•ΌκΈ°ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
β€’
LLM이 λ…λ¦½μ μœΌλ‘œ λ™μΌν•œ μ „λž΅μ„ λ„μΆœν•˜λŠ” 수렴적 μΆ”λ‘  방식이 λ™μ‹œ μ˜μ‚¬κ²°μ • μ‹œ ν˜‘λ ₯ μ‹€νŒ¨μ˜ μ£Όμš” μ›μΈμž…λ‹ˆλ‹€.
β€’
톡신 κΈ°λŠ₯ ν™œμ„±ν™”λŠ” λ™μ‹œ μ˜μ‚¬κ²°μ • μ‹œ ν˜‘λ ₯ 문제λ₯Ό ν•΄κ²°ν•˜μ§€ λͺ»ν•˜λ©°, 였히렀 ꡐ착 μƒνƒœ λ°œμƒλ₯ μ„ 높일 μˆ˜λ„ μžˆμŠ΅λ‹ˆλ‹€.
β€’
λ™μ‹œ μžμ› 접근이 ν•„μš”ν•œ 닀쀑 μ—μ΄μ „νŠΈ LLM μ‹œμŠ€ν…œμ€ λ‚΄μž¬λœ ν˜‘λ ₯ λŠ₯λ ₯에 μ˜μ‘΄ν•˜κΈ°λ³΄λ‹€ 외뢀적인 μ‘°μ • λ©”μ»€λ‹ˆμ¦˜μ΄ ν•„μš”ν•  수 μžˆμŠ΅λ‹ˆλ‹€.
πŸ‘
Made with Slashpage