Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Quantifying Fairness in LLMs Beyond Tokens: A Semantic and Statistical Perspective

Created by
  • Haebom

作者

Weijie Xu, Yiwen Wang, Chi Xue, Xiangkun Hu, Xi Fang, Guimin Dong, Chandan K. Reddy

概要

大規模言語モデル(LLM)はしばしば固有のバイアスを持つ応答を生成し、実際のアプリケーションで信頼性を損なうことがあります。従来の評価方法は、長文応答の偏りとLLM出力の固有の変動性を見落としがちです。この課題を解決するために、本論文では、人口グループ間の長文応答で微妙な意味差を検出し、LLMのグループレベルの公平性を評価する新しい統計フレームワークであるFine-Grained Semantic Comparison(FiSCo)を提案します。感情またはトークンレベルの比較に焦点を当てた以前の研究とは異なり、FiSCoは意味の一貫性を評価するために意味のレベルで分析を意味します。モデル出力を意味的に区別された主張に分解し、統計的仮説検定を適用して、グループ間とグループ内の類似性を比較して微妙な偏りを強く検出することができます。新しいグループの反射実績の公平性定義を策定し、性別、人種、年齢を含む合成および人が注釈を付けたデータセットでFiSCoを検証します。実験結果,FiSCoは,多様な評価指標より優れた微妙な偏りをより安定的に同定しつつ,確率的LLM変動性の影響を低減することを示した。

Takeaways、Limitations

Takeaways:
LLMのグループレベル公平性評価のための新しい統計的フレームワークFiSCoの提案
従来法の限界である長文応答の偏りとLLM出力のボラティリティ問題の解決
セマンティックレベル分析により微妙な偏り検出と堅牢な評価が可能
新しいグループ反射実績公平性の定義を提示
性別、人種、年齢など、さまざまな人口統計グループの実験的検証を行う
従来の評価指標より優れた性能確認
Limitations:
FiSCoのパフォーマンスは、使用されるデータセットとコメントの品質に依存する可能性があります。
あらゆる種類の偏りを完全に検出できない可能性があります。
計算コストが高くなる可能性があります。
新しいグループ反射実績公平性定義の一般化の可能性に関するさらなる研究が必要
👍