Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

An Investigation into Value Misalignment in LLM-Generated Texts for Cultural Heritage

Created by
  • Haebom

作者

Fan Bu, Zheng Wang, Siyi Wang, Ziyao Liu

概要

この論文は、文化遺産関連の作業(記念碑の説明の生成、古代のテキストの翻訳、伝統的な伝統の保存、教育コンテンツの生成など)でますます多く使用されている大規模言語モデル(LLM)の文化的整合性の問題を扱います。 LLMが生成するテキストでは、歴史的事実の歪み、文化的アイデンティティの毀損、複雑な文化的叙事詩の過度の単純化などの文化的価値の不一致が発生し、重大な結果を招く可能性があります。このリスクを軽減するために、本研究は文化遺産関連の作業において文化的整合性を持つテキストを生成するLLMの信頼性を体系的に評価します。 5つのオープンソースLLMを対象に、文化遺産知識体系内の5つのカテゴリ、17の側面を含む1066のクエリタスクで構成された広範なデータセットを使用して包括的な評価を行い、生成されたテキストで文化的価値の不一致の種類と割合を調べる。自動化および手動アプローチを使用して、LLMによって生成されたテキストの文化的価値の不一致を効果的に検出して分析します。その結果、生成されたテキストの65%以上でかなりの文化的不一致が見られ、特定の作業では主要な文化的価値とほぼ完全に矛盾することがわかりました。この論文は、これらの結果に加えて、将来のLLMの文化的感受性と信頼性の向上を目指す研究のための貴重な資料として利用できるベンチマークデータセットと包括的な評価ワークフローを提示します。

Takeaways、Limitations

Takeaways:
文化遺産の分野でLLMの文化的価値の不一致問題を体系的に分析した最初の研究の一つである。
LLMによって生成されたテキストにおける文化的価値の不一致の深刻さを示す実証的証拠の提示。
今後の研究のためのベンチマークデータセットと評価ワークフローを提供します。
LLMの文化的感受性を向上させるための研究方向を提示します。
Limitations:
分析に使用されるLLMの種類とバージョンは限られている可能性があります。
文化的価値の不一致の定義と測定方法に対する主観性の存在の可能性
特定の文化に偏ったデータセットの使用可能性。
評価ワークフローの一般化の可能性に関するさらなる研究が必要です。
👍