본 논문은 LLM을 활용한 자동화된 레드팀 활동에 대한 연구를 제시합니다. 최첨단 LLM 기반 공격 시스템이 멀티 호스트 네트워크 공격을 수행하는 데 실패하는 점을 분석하고, 이를 개선하기 위해 Incalmo라는 새로운 시스템을 설계하고 구현했습니다. Incalmo는 LLM을 사용하여 고수준의 선언적 작업을 계획하고, 도메인별 작업 에이전트를 통해 실행합니다. 또한 보조 서비스를 사용하여 컨텍스트 및 확보된 자산을 관리합니다. 평가를 위해 40개의 현실적인 에뮬레이션 네트워크를 포함하는 MHBench라는 새로운 멀티 호스트 공격 벤치마크를 개발했습니다. Incalmo는 37/40의 환경에서 주요 자산을 성공적으로 확보했으며, 기존 시스템은 3/40에 불과했습니다. 성공적인 공격은 12-54분, LLM 크레딧 비용은 $15 미만이었습니다.
