본 논문은 대규모 언어 모델(LLM)의 안전성을 위협하는 '탈옥 공격'에 대응하기 위해, Composition-of-Principles (CoP) 프레임워크를 기반으로 한 자동화된 레드팀 활동 방식을 제안합니다. CoP 프레임워크는 사용자가 제공하는 레드팀 원칙을 AI 에이전트가 활용하여 효과적인 탈옥 프롬프트를 자동으로 생성하고 전략을 수립하도록 합니다. 기존 방법과 달리, CoP는 인간이 제공하는 다양한 원칙들을 통합하고 확장하여 새로운 탈옥 전략을 자동으로 발견할 수 있는 통합적이고 확장 가능한 프레임워크를 제공합니다. 실험 결과, CoP는 최첨단 LLM에서 이전에는 알려지지 않은 안전 위험을 발견하고, 최고의 단일 턴 공격 성공률을 최대 19배까지 향상시켰습니다.
