Does Refusal Training in LLMs Generalize to the Past Tense?
Created by
Haebom
저자
Maksym Andriushchenko, Nicolas Flammarion
개요
본 논문은 유해하거나 원치 않거나 불법적인 출력 생성을 방지하기 위해 널리 사용되는 거부 훈련(refusal training)의 일반화 성능 저하 문제를 밝힙니다. 유해한 요청을 과거 시제로 바꾸는 간단한 방법(예: "폭탄 만드는 방법은?"을 "사람들은 어떻게 폭탄을 만들었나요?"로 변경)만으로도 여러 최첨단 LLMs를 우회할 수 있음을 보여줍니다. Llama-3 8B, Claude-3.5 Sonnet, GPT-3.5 Turbo, Gemma-2 9B, Phi-3-Mini, GPT-4o mini, GPT-4o, o1-mini, o1-preview, R2D2 모델을 대상으로 GPT-3.5 Turbo를 재구성 모델로 사용하여 이 방법을 체계적으로 평가했습니다. 예를 들어, GPT-4o에 대한 이 간단한 공격의 성공률은 직접적인 요청을 사용할 때 1%에서 GPT-4를 탈옥 판정 모델로 사용하여 JailbreakBench의 유해한 요청에 대해 과거 시제로 20번 재구성 시도를 할 경우 88%로 증가합니다. 흥미롭게도 미래 시제로 재구성하는 것은 효과가 떨어지는데, 이는 거부 방지책이 과거의 질문을 가정적인 미래 질문보다 더 무해하게 간주하는 경향이 있음을 시사합니다. 또한 GPT-3.5 Turbo에 대한 미세 조정 실험을 통해 과거 시제 예시를 미세 조정 데이터에 명시적으로 포함하면 과거 시제 재구성에 대한 방어가 가능함을 보여줍니다. 전반적으로 이 연구 결과는 SFT, RLHF, 적대적 훈련과 같이 연구된 모델을 정렬하는 데 널리 사용되는 정렬 기술이 취약하고 의도한 대로 항상 일반화되지 않을 수 있음을 강조합니다. 코드와 탈옥 아티팩트는 https://github.com/tml-epfl/llm-past-tense에서 제공됩니다.
시사점, 한계점
•
시사점: 현재 널리 사용되는 거부 훈련 기법의 취약성을 밝힘으로써, LLM의 안전성 향상을 위한 보다 강력하고 일반화된 방어 메커니즘 개발의 필요성을 제기합니다. 과거 시제를 이용한 간단한 재구성으로도 LLM의 안전 장치를 우회할 수 있음을 보여주는 것은 기존의 안전 메커니즘의 한계를 명확하게 드러냅니다. 과거 시제 재구성에 대한 방어는 미세 조정 데이터에 과거 시제 예시를 포함시킴으로써 가능하다는 것을 시사합니다.
•
한계점: 특정 모델과 데이터셋에 대한 결과이므로, 다른 모델이나 데이터셋에 대한 일반화 가능성은 추가 연구가 필요합니다. GPT-3.5 Turbo를 재구성 모델로 사용한 점이 결과에 영향을 미칠 수 있습니다. 더욱 다양하고 정교한 공격 기법에 대한 내성을 평가할 필요가 있습니다. 제시된 해결책(미세 조정 데이터에 과거 시제 예시 포함)의 효율성과 실용성에 대한 추가적인 분석이 필요합니다.
