본 논문은 웹 서비스에서 대규모 언어 모델(LLM)의 급속한 발전에 따른 사회적 위험 증폭 문제를 해결하기 위해, 진화하는 위협과 안전 장치 간의 역동적인 상호 작용에 주목한 연구입니다. 특히, 고립된 탈옥 공격이나 정적 방어에 집중하는 기존 연구의 한계를 극복하고자, 공격 모델과 방어 모델을 공동 최적화하는 새로운 프레임워크인 ACE-Safety (Adversarial Co-Evolution for LLM Safety)를 제안합니다. ACE-Safety는 (1) 그룹 인지 전략 기반 몬테카를로 트리 탐색(GS-MCTS)을 통해 취약점을 발견하고 다양한 적대적 샘플을 생성하며, (2) 적대적 커리큘럼 트리 기반 그룹 정책 최적화(AC-TGPO)를 통해 커리큘럼 강화 학습으로 공격 및 방어 LLM을 공동 훈련하여 상호 개선을 이룹니다. 여러 벤치마크를 통해 제안된 방법이 기존 공격 및 방어 방식을 능가하며, 책임감 있는 AI 생태계를 지속적으로 지원할 수 있는 LLM 개발에 기여할 수 있음을 입증합니다.
