Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Adversarial Cooperative Rationalization: The Risk of Spurious Correlations in Even Clean Datasets

Created by
  • Haebom

作者

Wei Liu, Zhongyu Niu, Lang Gao, Zhiying Deng, Jun Wang, Haozhao Wang, Ruixuan Li

概要

この研究は、ジェネレータと予測器の協力ゲームで構成される自己合理化フレームワークを調査します。ジェネレータは生の入力から最も有益な部分を抽出し、予測器は選択されたサブセットを入力として使用します。ジェネレータと予測器は、予測精度を最大化するために協力的に訓練されています。この論文では、協力ゲームが意図せず合理化抽出中にサンプリング偏向を導入する可能性があるという潜在的な問題を最初に明らかにします。特に、ジェネレータは、元のデータセットに意味的に関連していなくても、選択された合理化候補とラベルとの間に誤った相関関係を意図せずに生成する可能性があります。次に、詳細な理論的分析と経験的証拠を使用して、これらの偏向の起源を説明します。調査では、攻撃を介してこれらの相関関係を調べる方向を示し、それに基づいて予測子が相関関係を学習するのを防ぐためのガイダンスをさらに示します。 3つのネットワークアーキテクチャ(GRUs、BERT、GCN)を使用して、6つのテキスト分類データセットと2つのグラフ分類データセットの実験で提案された方法は、最近の合理化方法よりもパフォーマンスがはるかに優れているだけでなく、代表的なLLM(llama3.1-8b-instruct)と同等またはより良い結果を達成することを示しています。

Takeaways、Limitations

Takeaways:協力的な自己合理化フレームワークで発生する可能性があるサンプリング偏向の問題を明らかにし、それを解決するための効果的な方法を提示することによって、自己合理化モデルの信頼性とパフォーマンスの向上に貢献します。提案された方法は、従来の方法および代表的なLLMと比較して優れた性能を示した。
Limitations:提案された方法の一般化性能に関するさらなる研究が必要です。さまざまなデータセットとアーキテクチャのためのより広範な実験が必要です。サンプリング偏向問題解決のための追加の理論的分析の必要性
👍