본 논문은 사이버 보안 애플리케이션에 대규모 언어 모델(LLM)을 통합하는 것이 위협 분석 및 악성 코드 탐지 향상과 같은 중요한 기회를 제공하지만, 개인 정보 유출 및 새로운 악성 코드의 자동 생성과 같은 심각한 위험과 안전 문제를 야기할 수 있다는 점을 다룹니다. 이러한 문제를 해결하기 위해, 논문에서는 악성 코드 분석, 피싱 시뮬레이션, 제로데이 취약점 등의 사이버 보안 작업에 걸쳐 54,928개의 instruction-response 쌍으로 구성된 CyberLLMInstruct 데이터셋을 개발했습니다. 이 데이터셋은 다단계 프로세스를 통해 여러 리소스에서 데이터를 소싱하고, instruction-response 쌍으로 필터링 및 구조화하고, 실제 시나리오와 정렬하여 적용성을 높였습니다. 7개의 오픈소스 LLM(Phi 3 Mini 3.8B, Mistral 7B, Qwen 2.5 7B, Llama 3 8B, Llama 3.1 8B, Gemma 2 9B, Llama 2 70B)을 사용하여 CyberLLMInstruct의 유용성을 테스트했습니다. OWASP top 10 프레임워크를 사용하여 미세 조정된 모델의 안전성을 엄격하게 평가한 결과, 미세 조정으로 모든 테스트된 LLM과 모든 적대적 공격(예: 프롬프트 삽입에 대한 Llama 3.1 8B의 보안 점수가 0.95에서 0.15로 감소)에서 안전성이 저하되는 것을 발견했습니다. 또한, 동일한 미세 조정된 모델이 CyberMetric 벤치마크에서 최대 92.50%의 정확도를 달성할 수 있음을 보여주었습니다. 이러한 결과는 성능과 안전성 사이의 상충 관계를 강조하며, 다양한 데이터셋과 도메인에서 성능을 향상시키면서 안전성 위험을 완화할 수 있는 미세 조정 방법론에 대한 추가 연구의 중요성을 보여줍니다.
