Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Distributional Training Data Attribution: What do Influence Functions Sample?

Created by
  • Haebom

作者

Bruno Mlodozeniec, Isaac Reid, Sam Power, David Krueger, Murat Erdogdu, Richard E. Turner, Roger Grosse

概要

ディープラーニングモデルトレーニングの不可欠な要素であるランダム性を、従来のトレーニングデータ帰属アルゴリズムが正しく考慮しない問題を指摘し、これを解決するためにモデル出力分布がデータセットにどのように依存するかを予測する分散トレーニングデータ帰属(D-TDA)を提案します。特に、広く使用されているデータ帰属ツールであるインパクト関数(​​IF)は、このフレームワークでは、限られた凸状の仮定なしに展開された微分の極限として現れることがわかりました。これは、ディープラーニングにおけるIFの効果の新しい視点を提供し、d-TDAを使用してビジョンコンバータでデータの剪定を改善し、拡散モデルの影響力のある例を特定する実験によってd-TDAの実用的な有用性を実証します。

Takeaways、Limitations

Takeaways:
既存データ帰属アルゴリズムの限界を克服する新しい方法論提示(D-TDA)
影響関数(IF)が分散していることを明らかにし、ディープラーニングにおける効果の新しい視覚を提供
ビジョンコンバータのデータ剪定と拡散モデルにおける影響力のある例示的な識別による実用的な有用性の実証
Limitations:
論文に具体的なLimitationsは記載されていない。
👍