본 논문은 대규모 언어 모델(LLM)의 안전성 향상이 자연어나 일반적인 암호(예: Base64)로 작성된 공격을 완화하는 데 초점을 맞추고 있지만, LLM의 추론 능력 향상이 오히려 새로운 탈옥 공격에 대한 취약성을 증가시킨다는 역설적인 취약성을 밝힙니다. LLM의 향상된 추론 능력은 복잡한 명령을 해석하고 사용자 정의 암호를 해독할 수 있게 하여 보안 취약점을 만들어냅니다. 이를 연구하기 위해, 사용자 정의 암호로 악의적인 질문을 인코딩하는 탈옥 기법인 ACE(Attacks using Custom Encryptions)와, 다층 암호를 적용하여 공격의 복잡성을 증폭시키는 LACE(Layered Attacks using Custom Encryptions)를 제시합니다. 또한, 암호화된 양성 텍스트의 해독 정확도를 평가하기 위한 벤치마크인 CipherBench를 개발했습니다. 실험 결과, 암호 해독 능력이 뛰어난 LLM일수록 이러한 탈옥 공격에 더 취약하며, GPT-4o의 경우 ACE에서는 40%, LACE에서는 78%의 성공률을 보였습니다. 이는 LLM이 복잡한 사용자 암호(사전 예방적 안전 교육에 포함될 수 없는 것들)를 해독하는 능력이 향상될수록 탈옥 공격에 더욱 취약해짐을 보여줍니다.
