Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

LinguaSafe: A Comprehensive Multilingual Safety Benchmark for Large Language Models

Created by
  • Haebom

作者

Zhiyuan Ning, Tianle Gu, Jiaxin Song, Shixin Hong, Lingyu Li, Huacan Liu, Jie Li, Yixu Wang, Meng Lingyu, Yan Teng, Yingchun Wang

概要

この論文は、さまざまな言語と文化的文脈における大規模言語モデル(LLM)の安全性を確保することに焦点を当てています。既存の多言語LLM安全性評価の包括的な評価とさまざまなデータ不足に対処するために、ハンガリー語からマレー語までの12言語の45,000項目の多言語安全性ベンチマークであるLinguaSafeを提供します。翻訳、バリアント翻訳、および原語データを組み合わせて作成されたLinguaSafeは、直接的および間接的な安全性評価を含む多次元的で細かい評価フレームワークを提供し、過敏症に対するさらなる評価も含みます。さまざまな言語とドメインで安全性と有用性評価の結果が大きく異なることを示し、多言語LLM安全性評価の重要性を強調しています。データセットとコードは公に展開され、さらなる研究を支援します。

Takeaways、Limitations

Takeaways:
多言語LLMの安全性評価のための包括的なベンチマークであるLinguaSafeを提供します。
さまざまな言語(ハンガリー語からマレー語まで)を含む、既存の言語偏向を解消します。
直接的および間接的な安全性評価を含む多次元評価フレームワークを提供します。
多言語LLMの安全性評価結果が言語とドメインによって大きく異なることを示した。
公開されたデータセットとコードは、将来の多言語LLM安全性の研究のための基盤を築きます。
Limitations:
LinguaSafeデータセットのサイズと言語の範囲をさらに拡張することができます。
評価フレームワークの客観性と信頼性をさらに検証する必要があるかもしれません。
特定の言語や文化的文脈に対する偏りが依然として存在する可能性があります。
新しいLLMアーキテクチャと機能への適応性をさらに検討する必要があります。
👍