Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Mousetrap: Fooling Large Reasoning Models for Jailbreak with Chain of Iterative Chaos

Created by
  • Haebom

저자

Yang Yao, Xuan Tong, Ruofan Wang, Yixu Wang, Lujundong Li, Liang Liu, Yan Teng, Yingchun Wang

개요

본 논문은 기존 대규모 언어 모델(LLM)보다 향상된 논리적 추론 능력을 가진 대규모 추론 모델(LRM)의 안전성 위험에 초점을 맞추고 있습니다. 기존의 LLM 공격에 대한 안전성 주장과 달리, 논문은 추론 과정 자체의 결함을 지적하며, LRM의 고급 추론 능력에서 비롯되는 취약점을 이용한 새로운 공격 방법을 제시합니다. 이를 위해 다양한 일대일 매핑을 사용하여 공격 프롬프트를 변환하는 '카오스 머신(Chaos Machine)'과 비선형 저샘플 공간으로 공격을 투영하는 '마우스 트랩(Mousetrap)' 프레임워크를 제안합니다. 실험 결과, o1-mini, Claude-Sonnet, Gemini-Thinking 등 다양한 LRM에 대해 높은 성공률(96%, 86%, 98%)을 달성했으며, 안전성으로 유명한 Claude-Sonnet에 대해서도 AdvBench, StrongREJECT, HarmBench 벤치마크에서 각각 87.5%, 86.58%, 93.13%의 높은 성공률을 보였습니다. 논문에는 부적절하고 공격적이며 유해한 콘텐츠가 포함되어 있음을 명시하고 있습니다.

시사점, 한계점

시사점:
LRM의 추론 과정 자체의 취약점을 이용한 새로운 공격 기법(Mousetrap)을 제시.
기존 연구에서 간과한 LRM의 안전성 위험을 명확히 제시.
다양한 LRM에 대한 높은 공격 성공률을 실험적으로 검증.
LRM의 안전성 향상을 위한 새로운 연구 방향 제시.
한계점:
제안된 공격 기법의 일반화 가능성에 대한 추가 연구 필요.
다양한 유형의 LRM에 대한 추가적인 실험 필요.
공격 기법에 대한 방어 기법 개발 연구 필요.
논문에 포함된 유해 콘텐츠에 대한 윤리적 고려 필요.
👍