Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

CURE: Controlled Unlearning for Robust Embeddings - Mitigating Conceptual Shortcuts in Pre-Trained Language Models

Created by
  • Haebom

作者

Aysenur Kocak, Shuo Yang, Bardh Prenkaj, Gjergji Kasneci

概要

この論文は、事前訓練された言語モデルの堅牢性と公平性を阻害する概念中心の虚偽の相関関係を解決するための新しい軽量フレームワークであるCUREを提示します。 CUREは、専用コンテンツ抽出器と反転ネットワークを介して概念とは無関係の表現を抽出し、タスク関連情報の損失を最小限に抑えます。その後、制御可能な偏向除去モジュールは、対照学習を使用して、残りの概念的な手がかりの影響を微調整し、モデルが有害な偏向を減らしたり、目標タスクに適した有益な相関関係を利用したりするのに役立ちます。 IMDBとYelpのデータセットで3つの事前訓練されたアーキテクチャを使用して評価した結果、CUREはIMDBでF1スコアが+10点、Yelpで+2点改善され、計算オーバーヘッドが最小化されました。この研究は、概念的な偏りを解決するための柔軟で非指導的な学習ベースの設計を提示し、より信頼性が高く公平な言語理解システムのための道を開きました。

Takeaways、Limitations

Takeaways:
事前訓練された言語モデルの概念偏向問題解決のための効果的な軽量フレームワークの提示
IMDBおよびYelpデータセットで大幅なパフォーマンス向上を実証
柔軟で非指導学習ベースのアプローチで様々なタスクに適用可能性を提示
計算オーバーヘッドが少なく、実用的な利用可能性が高い
Limitations:
提示された方法の一般化性能に対する追加実験の必要性
さまざまな種類の概念的偏向に対する効果分析の必要性
特定のデータセットのパフォーマンスを最適化するかどうかに関するさらなる調査が必要
👍