Sign In

TeleCom-Bench: How Far Are Large Language Models from Industrial Telecommunication Applications?

μž‘μ„±μž
  • Haebom
μΉ΄ν…Œκ³ λ¦¬
Empty

μ €μž

Jieting Xiao, Yun Lin, Huizhen Qiu, Rui Ma, Chen Zhong, Dongyang Xu, Xiao Long, Chaoyu Zhang, Qiaobo Hao, Ding Zou, Zhiguo Yang, Yanqin Gao, Fang Tan

πŸ’‘ κ°œμš”

λ³Έ μ—°κ΅¬λŠ” 톡신 μ‚°μ—… λΆ„μ•Όμ˜ μ‹€μ œ μ μš©μ„ μœ„ν•œ LLM 평가 ν”„λ ˆμž„μ›Œν¬ λΆ€μž¬ 문제λ₯Ό ν•΄κ²°ν•˜κΈ° μœ„ν•΄ TeleCom-Benchλ₯Ό μ œμ•ˆν•©λ‹ˆλ‹€. TeleCom-BenchλŠ” 톡신 κΈ°λ³Έ 지식, ν”„λ‘œν† μ½œ, μ œν’ˆλ³„ λ¬Έμ„œ 및 μ‹€μ œ μ‚°μ—… μ›Œν¬ν”Œλ‘œμš°λ₯Ό ν¬κ΄„ν•˜λŠ” 12개의 평가 μ„ΈνŠΈλ‘œ κ΅¬μ„±λ©λ‹ˆλ‹€. 8개의 μ΅œμ‹  LLM 평가 κ²°κ³Ό, μ–Έμ–΄ 기반 μž‘μ—…μ—μ„œλŠ” 높은 μ„±λŠ₯을 λ³΄μ΄λ‚˜, 절차적 μ‹€ν–‰ μž‘μ—…μ—μ„œλŠ” μ„±λŠ₯이 크게 μ €ν•˜λ˜λŠ” "Execution Wall" ν˜„μƒμ„ λ°œκ²¬ν–ˆμŠ΅λ‹ˆλ‹€.

πŸ”‘ μ‹œμ‚¬μ  및 ν•œκ³„

β€’
ν˜„μž¬ LLM은 톡신 λΆ„μ•Όμ˜ μ–Έμ–΄ 이해 및 μ§„λ‹¨μ—λŠ” λŠ₯μˆ™ν•˜μ§€λ§Œ, μ‹€μ œ 문제 ν•΄κ²° 및 μ†”λ£¨μ…˜ 생성과 같은 절차적 μ‹€ν–‰μ—λŠ” ν•œκ³„κ°€ μžˆμŠ΅λ‹ˆλ‹€.
β€’
TeleCom-BenchλŠ” 톡신 μ‚°μ—…μ—μ„œ LLM의 μ‹€μ œ 적용 κ°€λŠ₯성을 κ°κ΄€μ μœΌλ‘œ ν‰κ°€ν•˜κ³ , 도메인 νŠΉν™” LLM 개발 λ°©ν–₯을 μ œμ‹œν•˜λŠ” μ€‘μš”ν•œ 기쀀점을 μ œκ³΅ν•©λ‹ˆλ‹€.
β€’
LLM의 절차적 μ‹€ν–‰ λŠ₯λ ₯ ν–₯상은 ν–₯ν›„ 톡신 λΆ„μ•Όμ—μ„œ LLM의 생산성 μžˆλŠ” ν™œμš©μ„ μœ„ν•œ 핡심 κ³Όμ œμž…λ‹ˆλ‹€.
πŸ‘
Made with Slashpage