본 논문은 사이버 위협 정보(CTI) 작업 자동화를 개선하기 위해 대규모 언어 모델(LLM)을 활용하는 최근 연구들을 바탕으로, 제로샷 학습, 퓨샷 학습, 파인튜닝을 사용할 때 CTI 작업에 대한 LLM을 테스트하고 일관성과 신뢰 수준을 정량화할 수 있는 평가 방법론을 제시합니다. 세 가지 최첨단 LLM과 350개의 위협 정보 보고서 데이터 세트를 사용한 실험을 통해 CTI에 LLM을 의존하는 것의 잠재적인 보안 위험에 대한 새로운 증거를 제시합니다. 실제 크기의 보고서에서 충분한 성능을 보장할 수 없을 뿐만 아니라 일관성이 없고 과신하는 경향이 있음을 보여줍니다. 퓨샷 학습과 파인튜닝은 결과를 부분적으로만 개선하여 레이블이 지정된 데이터 세트가 부족하고 신뢰도가 중요한 요소인 CTI 시나리오에서 LLM을 사용할 가능성에 대한 의문을 제기합니다.
