본 논문은 사이버 위협 정보(CTI) 작업의 자동화를 개선하기 위해 사이버 보안 분야의 데이터 홍수를 해결하는 데 대규모 언어 모델(LLM)을 사용할 수 있다는 몇몇 최근 연구 결과를 바탕으로, 제로샷 학습, 퓨샷 학습 및 미세 조정을 사용할 때 CTI 작업에서 LLM을 테스트할 수 있을 뿐만 아니라 일관성과 신뢰 수준을 정량화할 수 있는 평가 방법론을 제시합니다. 세 가지 최첨단 LLM과 350개의 위협 정보 보고서 데이터 세트를 사용하여 실험을 수행하고 CTI에 LLM을 사용하는 데 따른 잠재적인 보안 위험에 대한 새로운 증거를 제시합니다. 실제 크기의 보고서에서 충분한 성능을 보장할 수 없고, 일관성이 없으며 과신하는 경향이 있음을 보여줍니다. 퓨샷 학습 및 미세 조정은 결과를 부분적으로만 개선하므로, 레이블이 지정된 데이터 세트가 부족하고 신뢰도가 중요한 요소인 CTI 시나리오에서 LLM을 사용할 수 있는 가능성에 대해 의문을 제기합니다.
