본 논문은 안전 조정(safety fine-tuning)을 거친 대규모 언어 모델(LLM)이 악의적인 의도 없이 생성된 자연스러운 프롬프트에도 취약하다는 것을 보여줍니다. 기존의 적대적 공격(jailbreak)과 달리, 안전하게 응답하도록 조정된 모델을 악용할 수 있는, 유해한 시드 프롬프트와 의미적으로 관련된 자연스러운 프롬프트를 체계적으로 생성하는 방법을 제시합니다. 특히, 'Response Guided Question Augmentation (ReG-QA)'라는 방법을 통해 안정화된 LLM(예: GPT-4)에서도 유해한 응답을 유도할 수 있음을 실험적으로 증명합니다. ReG-QA는 비조정 LLM을 이용하여 유해한 답변을 생성하고, 이를 다시 질문으로 변환하여 안전 조정된 LLM을 공격하는 방식입니다. 기존의 적대적 공격 방식에 비해 안정적이며, Smooth-LLM이나 동의어 치환과 같은 방어 기법에도 효과적임을 보입니다.
