최근 연구들은 대규모 언어 모델(LLM)이 사이버 위협 인텔리전스(CTI) 작업 자동화를 개선하여 사이버 보안 분야의 데이터 폭주를 제어하는 데 사용될 수 있다고 주장한다. 본 연구는 제로샷, 퓨샷 학습, 파인튜닝을 사용하여 CTI 작업에 대한 LLM을 테스트하고, 일관성 및 신뢰도를 정량화할 수 있는 평가 방법을 제시한다. 3개의 최첨단 LLM과 350개의 위협 인텔리전스 보고서 데이터세트를 사용한 실험을 수행하고, CTI에 LLM을 사용하는 데 따른 잠재적 보안 위험에 대한 새로운 증거를 제시한다. LLM은 실제 크기의 보고서에서 충분한 성능을 보장할 수 없으며, 일관성이 없고 과신하는 경향을 보임을 보여준다. 퓨샷 학습과 파인튜닝은 결과를 부분적으로만 개선하여, 레이블이 없는 데이터세트가 부족하고 신뢰도가 중요한 CTI 시나리오에서 LLM을 사용할 수 있는지에 대한 의문을 제기한다.
