Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Fairness Evaluation of Large Language Models in Academic Library Reference Services

Created by
  • Haebom

作者

Haining Wang, Jason Clark, Yueru Yan, Star Bradley, Ruiyang Chen, Yiqiong Zhang, Hengyi Fu, Zuoyu Tian

概要

本論文は、LLMが仮想参照サービスに活用する図書館で、LLMが人口統計学的特性や社会的地位に関係なく、すべてのユーザーに公正にサービスを提供できるかどうかを評価する。 6つの最先端のLLMを使用して、性別、人種/民族、および機関の役割が他のユーザーを支援するようにプロンプトし、LLMがユーザーIDに従って応答を差別するかどうかを評価しました。人種や民族による差別は見られず、あるモデルでは女性に対するわずかな固定観念的偏向しか見られなかった。 LLMは、形式、丁寧さ、ドメイン固有の語彙に関連する言語的選択を通じて、機関の役割への微妙な適応を示しました。

Takeaways、Limitations

Takeaways:現在のLLMは、学術図書館の参考サービスで公正でコンテキストに合ったコミュニケーションを支援する準備が非常にうまくいっていることを示唆しています。人種や民族による差別は発見されず、性別による偏りもわずかであった。 LLMは、機関の役割に応じて適切な言語表現を使用することが示されました。
Limitations:調査対象モデルが6つに限定されており、特定のモデルで女性に対するわずかな固定観念的偏向が発見されたことは、さらなる研究が必要であることを示唆している。様々な質問の種類や状況に対するLLMの反応をより広く評価するさらなる研究が必要です。
👍