Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Veritas: Generalizable Deepfake Detection via Pattern-Aware Reasoning

Created by
  • Haebom

作者

Hao Tan, Jun Lan, Zichang Tan, Ajian Liu, Chuanbiao Song, Senyuan Shi, Huijia Zhu, Weiqiang Wang, Jun Wan, Zhen Lei

概要

本論文は,実際の世界シナリオにおけるディープフェイクコンテンツの複雑で進化する特性のためにディープフェイク検出が困難な課題であることを指摘した。従来の学術的ベンチマークは、一般に、同種のトレーニングソースと低品質のテストイメージを特徴とする産業現場と重大な違いを示し、現在の検出器の実際の展開を妨げています。これらのギャップを解消するために、階層的な一般化テストを通じて、実際の世界の課題をシミュレートするHydraFakeデータセットを提示します。 HydraFakeは、さまざまなディープフェイク技術と現場の偽造、厳格なトレーニングと評価プロトコルを含む、目に見えないモデルアーキテクチャ、新しい偽造技術、および新しいデータドメインをカバーしています。これらのリソースに基づいて、マルチモード大規模言語モデル（MLLM）ベースのディープフェイク検出器であるVeritasを提案します。一般的な思考プロセス（CoT）とは異なり、人間の法医学プロセスを模倣するために、「計画」や「自己反射」などの重要な推論パターンを含むパターン認識推論を導入します。また、これらのディープフェイク推論機能を現在のMLLMにシームレスに内在化するための2段階トレーニングパイプラインを提案します。 HydraFakeデータセットの実験は、以前の検出器がクロスモデルシナリオでは優れた一般化性能を示していますが、見えない偽造およびデータドメインでは不足していることを示しています。 Veritasは、さまざまなOODシナリオで大幅なパフォーマンス向上を達成し、透明で正確な検出結果を提供できます。

Takeaways、Limitations

•
Takeaways：
◦
実際の世界のディープフェイク検出の課題を反映した新しいデータセットHydraFakeを提示します。
◦
マルチモーダル大規模言語モデル（MLLM）ベースの新しいディープフェイク検出器Veritasを提案します。
◦
パターン認識の推論を通して、人間の法医学的推論プロセスを模倣することによって検出性能を向上させる。
◦
Veritasは、従来の検出器よりもさまざまなアウト・オブ・ディストリビューション（OOD）シナリオで優れたパフォーマンスを発揮します。
◦
透明で信頼できる検出結果を提供します。
•
Limitations：
◦
HydraFakeデータセットは、実際の世界のすべてのディープフェイクの脅威を完全に反映していない可能性があります。
◦
Veritasのパフォーマンスは、HydraFakeデータセットのトレーニングと評価に依存します。他のデータセットでの一般化パフォーマンスに関する追加の研究が必要です。
◦
MLLM ベースのアプローチの計算コストが高くなる可能性があります。
◦
新しいディープフェイク技術が継続的に登場するため、Veritasの継続的な更新と改善が必要です。
👍
Made with Slashpage