Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

CRAKEN: Cybersecurity LLM Agent with Knowledge-Based Execution

Created by
  • Haebom

저자

Minghao Shao, Haoran Xi, Nanda Rani, Meet Udeshi, Venkata Sai Charan Putrevu, Kimberly Milner, Brendan Dolan-Gavitt, Sandeep Kumar Shukla, Prashanth Krishnamurthy, Farshad Khorrami, Ramesh Karri, Muhammad Shafique

개요

본 논문은 대규모 언어 모델(LLM) 에이전트의 사이버 보안 작업 자동화 능력을 향상시키는 지식 기반 프레임워크인 CRAKEN을 제시합니다. CRAKEN은 과거 LLM 에이전트의 한계점인 최신 전문 지식 접근 및 새로운 지식의 복잡한 작업 계획 통합 문제를 해결하기 위해 세 가지 핵심 메커니즘(작업 중요 정보의 상황적 분해, 반복적 자기 반영 지식 검색, 지식 힌트 주입)을 활용합니다. CTF 풀이를 지식 데이터베이스로 사용하여 NYU CTF Bench에서 22%의 정확도를 달성, 기존 연구보다 3% 향상된 성능을 보였으며, MITRE ATT&CK 기법 평가에서는 기존 연구보다 25-30% 더 많은 기법을 해결하여 향상된 사이버 보안 기능을 입증했습니다. CRAKEN은 오픈소스로 공개되었습니다 (https://github.com/NYU-LLM-CTF/nyuctf_agents_craken).

시사점, 한계점

•
시사점:
◦
LLM 에이전트의 사이버 보안 작업 자동화 능력 향상에 기여하는 새로운 지식 기반 프레임워크 CRAKEN 제시.
◦
최신 지식 접근 및 새로운 지식의 복잡한 작업 계획 통합 문제 해결.
◦
NYU CTF Bench 및 MITRE ATT&CK 기법 평가를 통해 CRAKEN의 우수한 성능 입증.
◦
오픈소스 공개를 통한 연구의 재현성 및 확장성 확보.
•
한계점:
◦
NYU CTF Bench 및 MITRE ATT&CK 기법 평가 외 다른 실제 환경에서의 성능 검증 필요.
◦
지식 데이터베이스의 품질 및 양에 따라 성능 영향을 받을 수 있음.
◦
지식 힌트 주입 전략의 최적화 및 일반화 가능성에 대한 추가 연구 필요.
👍
Made with Slashpage