Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

ACE and Diverse Generalization via Selective Disagreement

Created by
  • Haebom

作者

Oliver Daniels, Stuart Armstrong, Alexandre Maranh ao, Mahirah Fairuz Rahman, Benjamin M. Marlin, Rebecca Gorman

概要

この論文は、深層ニューラルネットワークが偽の相関関係に脆弱であるという問題を解決するための新しい方法であるACEを提案します。既存の研究では、不完全な偽の相関に焦点を当てて相関を破るラベル付きインスタンスにアクセスする方法を使用していましたが、完全な偽の相関の場合、正しい一般化が根本的に不十分に特定されています。 ACEは、トレーニングデータと一致しますが、新しいラベルなし入力のサブセットについて異なる予測を行う概念セットを学習することによって、これらの不十分な特定の問題を解決します。自信を持って選択的な矛盾を促進する自己トレーニング方式を使用して、ACEはさまざまな完全な偽の相関ベンチマークで既存の方法と同等または優れたパフォーマンスを示し、不完全な偽の相関にも強いです。さらに、ACEは従来の方法よりも構成が容易で、事前知識を直接エンコードし、原則に基づく非マップモデルの選択を可能にします。言語モデルの並べ替えの初期適用では、ACEは信頼できない測定値にアクセスすることなく、測定操作検出ベンチマークで競争力のあるパフォーマンスを達成しました。

Takeaways、Limitations

Takeaways:
完全な偽相関問題に対する新しい解決策を提示(ACEアルゴリズム)
従来の方法より優れたまたは同等の性能を様々なベンチマークで達成。
不完全な偽の相関関係にも丈夫。
事前知識のエンコーディングと非マップモデルの選択可能。
言語モデルのソート分野で信頼できない測定値なしで競争力のあるパフォーマンスを達成します。
Limitations:
依然として重要な Limitations 存在 (具体的な Limitations は論文に明示的に記載されていない)。
👍