Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Multilingual Performance Biases of Large Language Models in Education

Created by
  • Haebom

作者

Vansh Gupta, Sankalan Pal Chowdhury, Vil em Zouhar, Donya Rooein, Mrinmaya Sachan

概要

本論文は、様々な言語(英語、マンダリン、ヒンディー語、アラビア語、ドイツ語、ペルシア語、テルグ語、ウクライナ語、チェコ語)を使用する教育環境における大規模言語モデル(LLM)の利用可能性を評価した研究である。学生の誤概念の把握、カスタマイズされたフィードバックの提供、インタラクティブなチュータリング、翻訳の採点など、4つの教育的課題に対するLLMの性能を測定し、その結果、LLMの性能は主に訓練データに含まれる言語の量と相関関係を示すことが分かった。特に低資源言語の場合、性能が低調であり、英語に対する性能低下が頻繁に発生した。

Takeaways、Limitations

Takeaways:低資源言語を含むさまざまな言語でLLMの教育的利用可能性を評価した実証研究の結果を提示することによって、LLMを教育に適用する前に、その言語のパフォーマンス検証の重要性を強調しました。 LLMの性能は訓練データの言語構成に大きく影響されることを明らかにした。
Limitations:この研究は特定の言語と課題に限定された評価を行ったので、他の言語や課題の一般化には制限があります。さらに、LLMの性能低下の原因の詳細な分析が不足している。様々なLLMモデルに対する比較分析がないことも限界として指摘することができる。
👍