Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Prefill-level Jailbreak: A Black-Box Risk Analysis of Large Language Models

Created by
  • Haebom

作者

Yakai Li, Jiekang Hu, Weiduan Sang, Luping Ma, Dongsheng Nie, Weijuan Zhang, Aimin Yu, Yi Su, Qingjia Huang, Qihang Zhou

概要

本論文は、大規模言語モデル（LLM）のセキュリティ脅威の1つである在日ブレイク攻撃について、既存の研究で主に取り上げられていたプロンプトレベルの攻撃ではなく、ユーザー制御応答の事前充填機能を悪用する攻撃に焦点を当てて研究した結果を提示します。プリフィルにより、攻撃者はモデル出力の先頭を操作して、説得ベースの攻撃からモデル状態直接操作に攻撃パラダイムを切り替えます。 14のLLMを対象にブラックボックスセキュリティ分析を行い、事前充填レベルの在日ブレーキ攻撃を分類し、その効果を評価しました。実験の結果、適応方法を使用した攻撃は、複数のモデルで99％を超える成功率を達成し、トークンレベルの確率分析により、初期状態操作によって拒否から協力への最初のトークン確率の変化が発生することが確認されました。また、事前充填レベルの在日ブレーキ攻撃は、既存のプロンプトレベル攻撃の成功率を10～15%p向上させる効果的な増強剤として機能することを示しています。いくつかの防御戦略評価の結果、既存のコンテンツフィルタは制限的な保護効果のみを提供し、プロンプトとプリフィルとの間の操作的関係に焦点を当てた検出方法がより効果的であることがわかりました。結論として、現在のLLM安全アライメントの脆弱性を明らかにし、将来の安全訓練で事前充填攻撃領域を解決する必要性を強調する。

Takeaways、Limitations

•
Takeaways：
◦
ユーザー制御応答プレフィル機能を使用した新しいタイプの在日ブレーキ攻撃の存在と重大性を明らかにします。
◦
プリフィル攻撃が既存のプロンプトベースの攻撃を増幅できることを示しています。
◦
既存のコンテンツフィルタの限界を明らかにし、プロンプトとプレフィルの間の関係に基づく新しい検出方法の必要性を提示する。
◦
LLMの安全性を向上させるための研究方向の提示（prefill攻撃対応）。
•
Limitations：
◦
分析対象モデルの種類と数の制限（14モデル）。
◦
提案された検出方法の一般化の可能性と実際の環境適用に関するさらなる研究の必要性
◦
さまざまな種類のプレフィル攻撃の包括的な分析が不足する可能性があります。
👍
Made with Slashpage