본 논문은 대규모 시각 언어 모델(VLMs)의 안전성을 향상시키기 위해 새로운 추론 기반 VLM 보호 모델인 GuardReasoner-VL을 제시합니다. 핵심 아이디어는 온라인 강화 학습(RL)을 통해 보호 모델이 조정 결정을 내리기 전에 신중하게 추론하도록 유도하는 것입니다. 12만 3천 개의 샘플과 63만 1천 개의 추론 단계를 포함하는 텍스트, 이미지, 텍스트-이미지 입력을 다루는 추론 말뭉치 GuardReasoner-VLTrain을 구성하고, 이를 기반으로 SFT를 통해 모델의 추론 능력을 초기화합니다. 또한, 온라인 RL을 통해 조정에 대한 추론을 향상시킵니다. 다양성과 샘플의 난이도를 높이기 위해 제안된 안전 인식 데이터 연결을 통한 거절 샘플링과 데이터 증강을 수행하며, 초기에는 탐색을, 후기에는 활용을 장려하는 동적 클리핑 매개변수를 사용합니다. 성능과 토큰 효율성의 균형을 맞추기 위해 정확성, 형식, 토큰 비용을 통합하는 길이 인식 안전 보상을 설계합니다. 광범위한 실험을 통해 제안 모델의 우수성을 입증하며, 평균 F1 점수에서 2위 모델보다 19.27% 앞서는 성능을 보입니다. 데이터, 코드 및 모델(3B/7B)을 공개합니다.
