ConceptGuard: Proactive Safety in Text-and-Image-to-Video Generation through Multimodal Risk Detection
Created by
Haebom
Category
Empty
저자
Ruize Ma, Minghong Cai, Yilei Jiang, Jiaming Han, Yi Feng, Yingshui Tan, Xiaoyong Zhu, Bo Zhang, Bo Zheng, Xiangyu Yue
개요
본 논문은 텍스트와 이미지를 결합한 멀티모달 프롬프트로부터 고품질 비디오를 생성하는 최신 비디오 생성 모델의 발전이 새로운 안전 위험을 야기할 수 있다는 문제점을 제기합니다. 이러한 위험을 해결하기 위해, 논문은 멀티모달 비디오 생성에서 안전하지 않은 의미를 사전에 감지하고 완화하는 통합 안전 프레임워크인 ConceptGuard를 제안합니다. ConceptGuard는 대조적 감지 모듈을 사용하여 잠재적 안전 위험을 식별하고, 의미적 억제 메커니즘을 통해 안전하지 않은 개념을 피하도록 생성 프로세스를 유도합니다. ConceptGuard의 개발 및 평가를 위해 멀티모달 위험 학습을 위한 ConceptRisk 데이터셋과 TI2V 안전 설정을 위한 T2VSafetyBench-TI2V 벤치마크를 도입했습니다. 제안된 방법은 두 벤치마크 모두에서 기존 방법보다 우수한 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
멀티모달 비디오 생성 모델의 안전성 문제를 해결하기 위한 새로운 프레임워크인 ConceptGuard 제시.
◦
사전 위험 감지 및 완화를 위한 혁신적인 접근 방식(대조적 감지 모듈 및 의미적 억제) 제안.
◦
ConceptRisk 및 T2VSafetyBench-TI2V와 같은 새로운 벤치마크 도입, 안전성 연구 지원.
