본 논문은 시각적 입력에 대한 적대적 공격에 취약한 멀티모달 대규모 언어 모델(MLLM)의 문제를 해결하기 위해, 2단계 벡터 양자화를 통합한 새로운 아키텍처인 Q-MLLM을 제안합니다. Q-MLLM은 픽셀-패치 및 의미론적 수준에서 시각적 표현을 이산화하여 공격 경로를 차단하고, 텍스트 기반 안전 메커니즘의 시각적 콘텐츠로의 부적절한 전달 문제를 해결합니다. 2단계 학습 방법론을 통해 견고한 학습과 모델 유틸리티를 유지하며, 다양한 공격에 대해 기존 방식보다 우수한 방어 성공률을 보입니다.
