# TeleCom-Bench: How Far Are Large Language Models from Industrial Telecommunication Applications?

### 저자

Jieting Xiao, Yun Lin, Huizhen Qiu, Rui Ma, Chen Zhong, Dongyang Xu, Xiao Long, Chaoyu Zhang, Qiaobo Hao, Ding Zou, Zhiguo Yang, Yanqin Gao, Fang Tan

### 💡 개요

본 연구는 통신 산업 분야의 실제 적용을 위한 LLM 평가 프레임워크 부재 문제를 해결하기 위해 TeleCom-Bench를 제안합니다. TeleCom-Bench는 통신 기본 지식, 프로토콜, 제품별 문서 및 실제 산업 워크플로우를 포괄하는 12개의 평가 세트로 구성됩니다. 8개의 최신 LLM 평가 결과, 언어 기반 작업에서는 높은 성능을 보이나, 절차적 실행 작업에서는 성능이 크게 저하되는 "Execution Wall" 현상을 발견했습니다.

### 🔑 시사점 및 한계

- 현재 LLM은 통신 분야의 언어 이해 및 진단에는 능숙하지만, 실제 문제 해결 및 솔루션 생성과 같은 절차적 실행에는 한계가 있습니다.

- TeleCom-Bench는 통신 산업에서 LLM의 실제 적용 가능성을 객관적으로 평가하고, 도메인 특화 LLM 개발 방향을 제시하는 중요한 기준점을 제공합니다.

- LLM의 절차적 실행 능력 향상은 향후 통신 분야에서 LLM의 생산성 있는 활용을 위한 핵심 과제입니다.

---

[PDF 보기](https://arxiv.org/pdf/2605.18025)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).