본 논문은 웹페이지 환경과 상호작용하는 다중 모드 대규모 언어 모델(MLLM) 기반 웹 에이전트에 대한 환경 프롬프트 주입 공격(EnvInjection)을 제안합니다. 기존 공격의 효과 및 은밀성의 한계, 실제 환경에서의 비실용성을 극복하기 위해, 렌더링된 웹페이지의 원시 픽셀 값에 섭동(perturbation)을 추가하여 웹 에이전트가 공격자가 선택한 특정 작업(타겟 작업)을 수행하도록 유도하는 새로운 공격 기법을 제시합니다. 원시 픽셀 값과 스크린샷 간의 매핑이 미분 불가능하다는 어려움을 극복하기 위해, 매핑을 근사하는 신경망을 훈련하고 투영된 경사 하강법을 적용하여 최적화 문제를 해결합니다. 다양한 웹페이지 데이터셋에 대한 광범위한 평가를 통해 EnvInjection이 기존 기준 모델보다 효과적임을 보여줍니다.
