본 논문은 사이버 보안 분야에서 공격적인 용도로 사용되는 대규모 언어 모델(LLM) 기반 공격의 평가 방법론 및 벤치마킹 관행을 분석합니다. 19편의 연구 논문과 18개의 프로토타입 및 해당 테스트 환경을 검토하여, 기존 테스트 환경 확장, 기준선 생성, 포괄적인 측정 지표 및 질적 분석 포함의 중요성을 강조하며 향후 연구를 위한 실행 가능한 권고안을 제시합니다. 또한, 보안 연구와 실제 사이버 보안 관행 간의 차이점을 지적하며, CTF 기반 과제가 실제 침투 테스트 시나리오를 완전히 반영하지 못할 수 있음을 언급합니다. LLM의 불투명한 특성으로 인해 경험적 방법이 효과 분석에 주로 사용되며, 이 분석의 질은 선택된 테스트 환경, 측정 지표, 그리고 사용된 분석 방법에 크게 의존한다는 점을 논의합니다.