Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Bias in Decision-Making for AI's Ethical Dilemmas: A Comparative Study of ChatGPT and Claude

Created by
  • Haebom

作者

Yile Yan, Yuqi Zhu, Wentao Xu

概要

この研究は、9つの人気のある大規模言語モデル(LLM)の倫理的意思決定能力と潜在的な偏りを体系的に評価します。保護された属性を含む4つの倫理的ジレンマシナリオ(保護対対有害)で、単一属性と交差属性の組み合わせを含む50,400回の試験で、モデルの倫理的好み、感度、安定性、および群集パターンを評価します。その結果、すべてのモデルで保護されているプロパティの大きな偏りが明らかになり、モデルの種類とジレンマの状況によって好みが異なります。特にオープンソースLLMは、疎外された集団に対するより強い好みと有害なシナリオでより大きな感度を示しますが、クローズドソースモデルは保護的な状況ではより選択的で、主流集団を好む傾向があります。さらに、倫理的な行動はジレンマの種類によって異なります。 LLMは保護的なシナリオでは一貫したパターンを維持しますが、有害なシナリオではより多様で認識的に必要な決定を下します。さらに、モデルは単一のプロパティ設定よりもクロス条件でより顕著な倫理的傾向を示し、これは複雑な入力がより深い偏向を明らかにすることを示唆しています。これらの結果は、LLMの倫理的行動の多次元的および状況認識的評価の必要性を強調し、LLM意思決定における公平性を理解し解決するための体系的な評価およびアプローチを提示します。

Takeaways、Limitations

Takeaways:
LLMの倫理的意思決定の体系的な評価フレームワークの提供
オープンソースとクローズドソースLLMの間の倫理的偏向の違いを明らかにする(オープンソースは疎外層の好みが高い)
ジレンマの種類と属性の組み合わせによるLLMの倫理的行動変化の分析
LLMの公平性向上のための方向づけ
Limitations:
評価に使用したジレンマシナリオの制限性
特定のLLMモデルに対する分析結果の一般化可能性の制限
倫理的判断の主観性と多様性の考慮の欠如
実世界の適用性に関するさらなる研究が必要
👍