본 논문은 대규모 언어 모델(LLM)의 IT 운영(Ops) 분야 성능 평가를 위한 종합적인 벤치마크인 OpsEval을 제시합니다. OpsEval은 다양한 능력 수준에서 여러 중요 시나리오에서 LLM의 숙련도를 평가하며, 영어와 중국어로 7184개의 객관식 문제와 1736개의 질문-응답(QA) 형식의 문제를 포함합니다. 선도적인 LLM들의 성능 평가를 통해 다양한 LLM 기법이 Ops 성능에 미치는 영향을 분석하고, 모델 정량화, QA 평가, 환각 문제 등에 대한 결과를 논의합니다. 전문가 검토 및 테스트 데이터셋의 일부 공개를 통해 평가의 신뢰성을 확보하고, 실시간으로 업데이트되는 온라인 리더보드를 통해 새로운 LLM의 평가를 지원합니다. 데이터셋과 리더보드는 공개되어 있습니다.
시사점, 한계점
•
시사점:
◦
LLM의 AIOps 분야 적용 가능성을 평가하기 위한 최초의 종합적인 벤치마크 제공.
◦
다양한 LLM 기법의 Ops 성능에 대한 영향 분석.
◦
LLM의 성능 평가를 위한 표준화된 벤치마크 및 리더보드 제공.
◦
연구자들의 OpsLLM 모델 개발 및 평가 지원.
•
한계점:
◦
현재 영어와 중국어만 지원.
◦
벤치마크의 질문 난이도 및 다양성에 대한 추가적인 검토 필요.
◦
실제 IT 운영 환경과의 차이로 인한 일반화 가능성 제한.
◦
80%의 비공개 테스트 데이터로 인한 연구의 재현성 제한 (공개된 20%만으로는 충분한 평가 어려움).
