본 논문은 OpenAI o1 및 DeepSeek-R1과 같은 대규모 추론 모델(LRM)의 안전성 문제를 해결하기 위해, DeepSeek-R1 증류 모델을 기반으로 안전성을 고려한 RealSafe-R1을 제시합니다. DeepSeek-R1을 이용하여 악의적인 질의에 대한 거부 행동을 명시적으로 포함하는 15,000개의 안전 인식 추론 경로 데이터셋을 구성하고, 이를 통해 RealSafe-R1을 학습시켰습니다. 정량적 실험과 정성적 사례 연구를 통해 유해한 질의 및 탈옥 공격에 대한 안전 장치가 향상되었음을 보여주며, 기존의 안전 정렬 방식과 달리 추론 성능 저하 없이 안전성을 확보했습니다. RealSafe-R1의 모델 가중치는 공개적으로 제공됩니다.
