Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

WebInject: Prompt Injection Attack to Web Agents

Created by
  • Haebom

作者

Xilong Wang, John Bloch, Zedian Shao, Yuepeng Hu, Shuyan Zhou, Neil Zhenqiang Gong

概要

本稿では、マルチモーダル大規模言語モデル(MLLM)ベースのWebエージェントに対する新しい攻撃技術であるWebInjectを提案します。 WebInjectは、Webページのピクセル値に微妙な変化を与え、Webエージェントが攻撃者が望む行動を実行するように促すプロンプト注入攻撃です。元のピクセル値とスクリーンショット間のマッピングが微分不可能であるという問題を克服するために、マッピングを近似するニューラルネットワークを学習し、投影された傾斜降下法を使用して最適化問題を解決します。さまざまなデータセットでの実験結果は、WebInjectが従来の方法よりはるかに効果的であることを示しています。

Takeaways、Limitations

Takeaways:
MLLMベースのWebエージェントの脆弱性を示すことで、Webエージェントのセキュリティの重要性を強調します。
WebInjectは、Webエージェントに対する新しいタイプの攻撃方法を提示し、将来のセキュリティ研究に重要な貢献をする可能性があります。
ピクセル値変調による攻撃方式は、従来のプロンプトエンジニアリングとは異なるアプローチであり、さまざまな攻撃技術の研究にインスピレーションを与えることができます。
Limitations:
現在、特定の種類のWebエージェントに対する攻撃に焦点を当てており、さまざまなWebエージェントアーキテクチャの一般化の可能性にはさらなる研究が必要です。
攻撃の成功率は、Webページの構造とWebエージェントの性質によって異なります。
実際のWeb環境での攻撃の成功率と効率性の追加検証が必要です。
👍