Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

EnvInjection : attaque par injection d'invite environnementale sur des agents Web multimodaux

Created by
  • Haebom

Auteur

Xilong Wang, John Bloch, Zedian Shao, Yuepeng Hu, Shuyan Zhou, Neil Zhenqiang Gong

Contour

Dans cet article, nous proposons EnvInjection, une nouvelle technique d'attaque contre les agents web basés sur un modèle de langage multimodal à grande échelle (MLLM). EnvInjection modifie le code source d'une page web pour inciter l'agent web à effectuer une action spécifique (action cible) souhaitée par l'attaquant en modifiant les valeurs de pixels brutes de la page web affichée. Pour surmonter la difficulté de la correspondance entre les valeurs de pixels brutes et les captures d'écran, nous entraînons un réseau neuronal qui approxime la correspondance et applique la descente de gradient projetée pour résoudre le problème d'optimisation. Des évaluations approfondies sur plusieurs ensembles de données de pages web montrent qu'EnvInjection est bien plus efficace que les techniques existantes.

Takeaways, Limitations

•
Takeaways:
◦
Nous présentons une nouvelle technique appelée EnvInjection qui attaque efficacement les vulnérabilités des agents Web basés sur MLLM.
◦
Résout les problèmes d’efficacité, de furtivité et d’applicabilité pratique, qui constituent les limites des attaques existantes.
◦
Résolvez efficacement le problème de non-différenciabilité du mappage des valeurs de pixels brutes aux captures d'écran à l'aide de l'approximation du réseau neuronal et de la descente de gradient projetée.
◦
Démontre des performances supérieures aux techniques existantes sur divers ensembles de données de pages Web.
•
Limitations:
◦
Cela peut ne pas s'appliquer à toutes les pages Web car cela nécessite de modifier le code source de la page Web (restrictions d'accès, etc.).
◦
La formation d’un réseau neuronal peut nécessiter des ressources informatiques et du temps.
◦
Le taux de réussite d’une attaque peut varier en fonction de la conception spécifique de l’agent Web et des caractéristiques de la page Web.
◦
À Long terme, il est possible que des techniques de défense soient développées contre les techniques d’attaque présentées dans cet article.
👍
Made with Slashpage