본 논문은 대규모 추론 모델(LRM)의 안전성 향상을 위한 새로운 방법인 SAFEPATH를 제안합니다. 기존 안전 정렬 방법들이 유해한 출력을 줄이지만 추론 깊이를 저하시키는 문제점을 해결하기 위해, SAFEPATH는 유해한 프롬프트에 대한 응답으로 8토큰 길이의 안전 프라이머를 생성하도록 LRM을 미세 조정합니다. 추론 과정의 나머지 부분은 비지도 학습으로 유지하면서 유해한 출력을 줄이고 추론 성능은 유지하는 것을 목표로 합니다. 실험 결과, SAFEPATH는 다양한 벤치마크에서 유해한 응답을 최대 90.0%까지 줄이고, DeepSeek-R1-Distill-Llama-8B 모델에서 83.3%의 탈옥 시도를 차단하는 효과를 보였습니다. 또한, 기존 방법들보다 훨씬 적은 계산 자원을 필요로 하며(Direct Refusal 대비 295.9배, SafeChain 대비 314.1배), 미세 조정이 필요 없는 제로샷 변형도 제시합니다. 마지막으로, 기존 LLM 안전성 방법들이 추론 중심 모델에 적용될 때의 일반화 성능을 분석하여, 안전한 AI를 위한 새로운 방향을 제시합니다.
