자율 에이전트 AI 시스템의 비전-언어 모델(VLM) 기반 횡단적 추론 능력에서 발생하는 취약점을 이용하는 새로운 적대적 공격 프레임워크인 TRAP을 소개합니다. TRAP은 시각적으로 자연스러우면서도 에이전트의 의사 결정을 일관되게 왜곡하는 이미지를 생성합니다. 이를 위해, TRAP은 확산 기반 의미론적 주입을 활용하여 비전-언어 임베딩 공간을 조작합니다. 이 방법은 부정적인 프롬프트 기반 저하와 긍정적 의미론적 최적화를 결합하며, 시아미즈 의미론적 네트워크와 레이아웃 인식 공간 마스킹을 사용합니다. TRAP은 LLaVA-34B, Gemma3, GPT-4o, Mistral-3.2를 포함한 주요 모델에서 일관된 의사 결정 편향 재지정을 유도하며, 기존 공격 방법보다 우수한 성능을 보입니다. TRAP은 시각적으로 미묘하지만 의미론적으로 유도된 횡단적 조작을 통해 자율 에이전트가 지속적으로 오도될 수 있다는 중요한 취약점을 드러냅니다.
