OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences

Created by

Haebom

저자

Ming Wen, Kun Yang, Jingyu Zhang, Yuxuan Liu, shiwen cui, Shouling Ji, Xingjun Ma

💡 개요

본 논문은 기존의 유해 의도 탐지 중심의 멀티모달 대규모 언어 모델(MLLM) 안전성 연구에서 나아가, 상황 의존적인 인과 관계 내에 숨겨진 잠재적 위험을 식별하는 '결과 중심 안전성'을 제안합니다. 이를 위해 455개의 질의-이미지 쌍으로 구성된 OOD-MMSafe 벤치마크를 개발하여 기존 모델의 인과 관계 추론 능력의 한계를 지적하고, 모델 용량이 커질수록 정적인 정렬로는 안전성 추론 능력 향상 대신 형식적인 오류가 발생하는 문제점을 발견했습니다. 이를 해결하기 위해 모델 자체의 추론 능력을 동적인 참조점으로 활용하는 CASPO 프레임워크를 제안하여 결과 예측 능력을 크게 향상시켰습니다.

🔑 시사점 및 한계

•

자율 및 체화형 에이전트의 안전한 배포를 위해 유해 의도를 넘어 숨겨진 위험을 파악하는 '결과 중심 안전성' 패러다임의 중요성을 강조합니다.

•

기존 선도적인 MLLM들이 복잡한 상황 속 숨겨진 위험을 감지하는 데 심각한 '인과 맹목'을 보이며, 특히 모델 용량이 증가할수록 정적인 안전성 정렬의 효과가 제한됨을 보여줍니다.

•

제안된 CASPO 프레임워크는 기존 모델의 결과 예측 능력을 획기적으로 개선하여 위험 식별 실패율을 크게 낮추는 효과를 입증했습니다.

•

OOD-MMSafe 벤치마크와 CASPO 프레임워크는 MLLM의 숨겨진 위험 식별 능력을 평가하고 향상시키는 데 기여할 수 있을 것으로 기대됩니다.

•

본 연구는 특정 모델 아키텍처 및 벤치마크 데이터셋에 기반한 결과이므로, 다양한 MLLM 모델 및 데이터셋에 대한 일반화 가능성 검증이 필요합니다. 또한, 현실 세계의 복잡하고 동적인 상황에서의 안전성 검증이 추가적으로 요구될 수 있습니다.

PDF 보기

Made with Slashpage