자율주행 시스템에 통합된 비전-언어 모델(VLMs)의 백도어 공격에 대한 취약성을 연구한 논문입니다. 자연스러운 반사 패턴(유리, 물 등)을 이미지에 삽입하고, 해당 텍스트 레이블에 긴 무관한 접두사(가짜 이야기, 시스템 업데이트 알림 등)를 추가하는 새로운 백도어 공격 기법을 제안합니다. 이를 통해 특정 시각적 트리거가 있을 때 모델이 비정상적으로 긴 응답을 생성하여 추론 지연을 유발하는 것을 목표로 합니다. DriveLM 데이터셋을 사용하여 Qwen2-VL과 LLaMA-Adapter 두 가지 최첨단 VLM을 매개변수 효율적인 방법으로 미세 조정하고, 실험 결과 청정 입력에 대한 정상적인 성능을 유지하면서 트리거 발생 시 추론 지연 시간이 크게 증가함을 보여줍니다. 이는 자율주행 의사결정의 위험한 지연으로 이어질 수 있습니다. 또한, 중독률, 카메라 관점, 교차 뷰 전이 가능성 등의 요소에 대한 추가 분석을 수행합니다. 이 연구는 자율주행의 엄격한 실시간 요구 사항을 악용하는 새로운 유형의 공격을 밝혀내어 VLM이 강화된 자율주행 시스템의 보안과 안정성에 심각한 문제를 제기합니다.
