Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models

Created by
  • Haebom

作者

Rushil Thareja, Preslav Nakov, Praneeth Vepakomma, Nils Lukas

概要

本論文は、大規模言語モデル(LLM)が推論の際に個人情報を保存できないという問題を解決するために、差別的プライバシー(Differentially Private Inference、DPI)メカニズムであるDP-Fusionを提案する。 DP-Fusionは、LLMの出力に対する機密トークンの影響を制限し、機密情報を含む文書のプライバシーを維持しながらテキスト品質を維持することを目的としています。この方法は、機密トークンを識別し、機密トークンなしでLLMを推論して基本出力を取得した後、機密トークンを含むLLMを再推定し、両方の出力を混合して最終出力が基本出力から限られた距離内になるようにします。プライバシー/ユーティリティバランスは$ \ epsilon $の値で制御されます。

Takeaways、Limitations

Takeaways:
LLMの推論におけるプライバシー問題に対する新しい解決策の提示
差別的なプライバシー保証により、理論的および実証的プライバシーを向上させます。
従来のDPI方法よりも低い混乱度を達成し、テキスト品質を改善。
提案された方法はJailbreak-styleプロンプト注入攻撃の軽減にも貢献。
$\Epsilon$ 値により、プライバシーとユーティリティーのバランスをとることができます。
Limitations:
$ \ Epsilon $の値によるプライバシーとユーティリティ間のトレードオフの存在。
DP-FusionのパフォーマンスをさまざまなLLMアーキテクチャとタスクの一般化するかどうかは、さらなる研究が必要です。
実際の環境におけるDP-Fusionの適用と性能の追加検証が必要
👍