대규모 언어 모델(LLM)이 사이버 보안 분야에서 고품질의 사전 훈련 데이터 부족 문제를 해결하기 위해, 사전 훈련, 명령 미세 조정 및 추론 증류를 포함한 주요 훈련 단계에 걸쳐 포괄적인 데이터 세트를 제시합니다. 광범위한 분석 연구를 통해 공개 사이버 보안 벤치마크에서 데이터 세트의 효과를 입증하고, 데이터 세트를 사용한 지속적인 사전 훈련이 집계 점수에서 15.9% 향상을, 추론 증류가 보안 인증(CISSP)에서 15.8% 향상을 이끌어냄을 보입니다. 모든 데이터 세트와 훈련된 사이버 보안 LLM을 ODC-BY 및 MIT 라이선스 하에 공개하여 연구를 장려합니다.
