본 논문은 대규모 데이터 및 모델 시대의 신뢰할 수 있는 안전장치에 대한 중요한 필요성을 해결하는 VLM(Vision-Language Model) 기반 비전 안전장치 모음인 LlavaGuard를 소개합니다. 맞춤형 안전 분류 체계, 데이터 전처리, 증강 및 훈련 설정을 설명하는 새로운 오픈 프레임워크를 구축합니다. VLM 안전장치에 안전을 교육하기 위해 각 이미지에 안전 등급, 범주 및 근거가 레이블링된 고품질 전문가 주석이 포함된 다중 모드 안전 데이터 세트를 생성합니다. 또한 컨텍스트별 평가를 지원하기 위해 고급 증강을 사용합니다. 0.5B에서 7B에 이르는 결과 LlavaGuard 모델은 유연한 정책에 따라 시각적 콘텐츠의 안전 준수를 평가하는 다용도 도구 역할을 합니다. 포괄적인 실험에서 LlavaGuard는 정확도와 유연한 정책 처리 측면에서 최첨단 안전장치와 VLM을 모두 능가합니다. 또한 대규모 데이터 세트 주석 및 텍스트-이미지 모델 조정이라는 두 가지 실제 애플리케이션에서 LlavaGuard의 성능을 보여줍니다. 데이터 세트, 모델 가중치 및 훈련 코드를 포함한 전체 프레임워크를 공개합니다.
