본 논문은 시각적 자연스러움을 유지하면서 고급 Vision-Language Model(LVLMs)을 오도하는, 장면 일관성 있는 서체 기반 적대적 공격을 생성하는 최초의 접근 방식을 제시합니다. 기존 연구는 의도적으로 배치된 적대적 텍스트에 대한 모델의 취약성을 보여주었지만, 이러한 텍스트는 종종 이상치로 쉽게 식별됩니다. 본 연구에서는 장면 이해, 적대적 계획, 매끄러운 통합의 세 단계 과정을 사용하는 훈련이 필요 없는 다중 모드 LLM 기반 장면 일관성 있는 서체 적대적 계획(SceneTAP)을 제안합니다. SceneTAP은 사고 연쇄 추론을 사용하여 장면을 이해하고, 효과적인 적대적 텍스트를 공식화하며, 전략적으로 배치를 계획하고, 이미지 내에서 자연스러운 통합을 위한 자세한 지침을 제공합니다. 이어서 장면 일관성 있는 TextDiffuser가 로컬 확산 메커니즘을 사용하여 공격을 실행합니다. 본 연구는 생성된 패치를 물리적 환경에 인쇄하고 배치하여 실제 시나리오로 방법을 확장하고 실제 의미를 보여줍니다. 광범위한 실험은 생성된 장면 일관성 있는 적대적 텍스트가 물리적 설정의 새로운 이미지를 캡처한 후에도 ChatGPT-4o를 포함한 최첨단 LVLMs를 성공적으로 오도함을 보여줍니다. 평가는 시각적 자연스러움과 문맥 적합성을 유지하면서 공격 성공률이 크게 증가했음을 보여줍니다. 이 연구는 현재 Vision-Language Model의 정교하고 장면 일관성 있는 적대적 공격에 대한 취약성을 강조하고 잠재적인 방어 메커니즘에 대한 통찰력을 제공합니다.
