Sign In

AttackSeqBench: Benchmarking Large Language Models' Understanding of Sequential Patterns in Cyber Attacks

Created by
  • Haebom
Category
Empty

저자

Javier Yong, Haokai Ma, Yunshan Ma, Anis Yusof, Zhenkai Liang, Ee-Chien Chang

개요

본 논문은 사이버 위협 정보(CTI) 보고서 내 공격 시퀀스 이해 및 추론 능력을 평가하기 위한 새로운 벤치마크인 AttackSeqBench를 제안합니다. 기존 연구들이 CTI 정보 추출 능력에 초점을 맞춘 반면, AttackSeqBench는 CTI 보고서 내 공격 행위의 순차적 특징을 고려하여, 다양한 세분화 수준의 질의응답(QA) 과제를 포함합니다. 실제 CTI 보고서를 기반으로 자동화된 데이터셋 구축 파이프라인을 설계하여 확장 가능하고 잘 구성된 QA 데이터셋을 생성하고, 인간 평가와 시스템 평가 지표를 결합한 하이브리드 방식으로 데이터셋의 품질을 보장합니다. 다양한 LLMs를 이용한 실험을 통해 사이버 공격의 순차적 패턴 분석 능력의 강점과 한계를 분석하고, LLM 기반 CTI 보고서 이해 및 실제 사이버 보안 운영에의 적용을 발전시키는 것을 목표로 합니다. 데이터셋과 코드는 공개되어 있습니다.

시사점, 한계점

•
시사점:
◦
CTI 보고서 내 공격 시퀀스 이해에 대한 체계적인 평가를 위한 새로운 벤치마크(AttackSeqBench) 제공
◦
자동화된 데이터셋 구축 파이프라인을 통해 확장 가능하고 고품질의 QA 데이터셋 생성
◦
다양한 LLMs의 공격 시퀀스 분석 능력 비교 및 분석을 통한 강점과 한계 제시
◦
LLM 기반 CTI 보고서 이해 및 실제 사이버 보안 운영 적용 발전에 기여
•
한계점:
◦
현재 벤치마크의 범위와 적용 가능한 공격 유형의 제한 (추가적인 공격 유형에 대한 확장 필요)
◦
자동화된 데이터셋 구축 파이프라인의 정확성 및 신뢰성에 대한 추가적인 검증 필요
◦
다양한 LLM 모델 외 다른 접근 방식과의 비교 분석 부족
◦
실제 사이버 보안 운영 환경에서의 AttackSeqBench 적용에 대한 추가적인 연구 필요
👍
Made with Slashpage