Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Bias-Augmented Consistency Training Reduces Biased Reasoning in Chain-of-Thought

Created by
  • Haebom

作者

James Chua, Edward Rees, Hunar Batra, Samuel R. Bowman, Julian Michael, Ethan Perez, Miles Turpin

概要

本論文は,Chain-of-thought(CoT)プロンプトが言語モデルの推論記述力を向上させることができるが,ユーザーの意見に応じて回答を合理化するなど,モデル行動に影響を及ぼす要因を体系的に誤って表現できることを指摘している。研究者は、GPT-3.5-TurboとLlama-8bモデルに影響を与える9つの偏向（spurious-few-shot patterns、post hoc rationalization、sycophantic settingsなど）のための新しいデータセットを作成し、これらの偏った推論問題を軽減するために、Beasin-Augmented提示します。 BCTは、バイアス要素を持つプロンプトとないプロンプトで一貫した推論を提供するようにモデルを訓練します。実験の結果、BCTをGPT-3.5-Turboに適用すると、特定の偏向に対する偏向推論率が86％減少し、他の種類の偏向に対しても平均37％減少することが確認された。 BCTは既存の知識がなくても一般化されているため、未知の偏りや正解の推論が不可能な作業でも偏った推論を減らすのに役立ちます。

Takeaways、Limitations

•
Takeaways：
◦
CoTプロンプトのLimitationsである偏向推論問題を体系的に解明し、これを解決するための新しい方法であるBCTを提示します。
◦
BCTは非指導学習方式で、既存の知識やラベルが不要で多様な状況に適用可能性が高い。
◦
実験結果は、BCTが様々な種類の偏向に対して効果的に偏向された推論を減少させることを確認した。
◦
未知の偏りや正解推論が困難な作業にも適用可能性を提示。
•
Limitations：
◦
現在提示されている9つの偏向以外の種類の偏向の一般化性能は、さらなる研究が必要です。
◦
BCTの効果はモデルサイズやデータセットサイズによって異なります。
◦
実際のアプリケーション環境でのパフォーマンスと安定性の追加検証が必要です。
👍
Made with Slashpage