Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Evaluating Trust in AI, Human, and Co-produced Feedback Among Undergraduate Students

Created by
  • Haebom

作者

Audrey Zhang, Yifei Gao, Wannapon Suraworachet, Tanya Nazaretsky, Mutlu Cukurova

概要

この研究は、高等教育環境における大規模言語モデル（LLM）ベースの生成型AIフィードバックに対する学生の認識を調査し、効果的な実装と採用のための重要な情報を提供しようとしました。 91人の学部生を対象とした実験設計により、LLM、ヒト、およびヒト-AI共同生成フィードバックに対する学生の信頼性を比較分析した。特に、フィードバックタイプの識別能力、フィードバック品質の認識、およびフィードバックソースに関連する潜在的な偏向に影響を与える要因が調査された。その結果、フィードバック源が隠された場合、生徒は、ユーザビリティと客観性の観点から、AIおよび共同生成フィードバックを人間のフィードバックよりも好む傾向を示した。しかし、フィードバックソースが公開されると、AIに対する否定的な偏りが強く現れた。興味深いことに、フィードバックソースが公開されたときの真正性の低下はAIフィードバックに限定され、共同生成フィードバックは肯定的な認識を維持しました。教育的なAI経験は、LLMが生成したフィードバックを識別する学生の能力を向上させ、あらゆる種類のフィードバックに対する信頼性を高めました。逆に、一般的な目的でAIを長時間使用した学生は、フィードバックの有用性と信頼性を低く評価する傾向がありました。これらの結果は、フィードバック源の信頼性、およびAIベースのフィードバックの採用および教育的影響のためにフィードバックリテラシーおよびAIリテラシー向上の重要性を示唆している。

Takeaways、Limitations

•
Takeaways：
◦
AIフィードバックに対する学生の認識は、フィードバックソースの開示の有無に大きく左右される。
◦
共同生成フィードバックは、AIフィードバックの欠点（ソースの開示における真正性の低下）を補完することができる代替案として提示することができる。
◦
AIリテラシーとフィードバックリテラシー教育を通じて、学生のAIフィードバックへの偏りを軽減する必要があります。
◦
学生のAI使用経験はAIフィードバックの認識に影響を与えます。
•
Limitations：
◦
この研究は、特定の教育環境と学生の集団に限定された結果である可能性があります。一般化には注意が必要だ。
◦
フィードバックの定性的な違いの客観的な評価基準が不足している。
◦
人間のフィードバックとAIフィードバックの比較では、人間のフィードバックの質的レベルが一定に保たれているかどうかを検討する必要があります。
◦
より多様なタイプのAIフィードバックと、より広い範囲の学生集団を含む後続の研究が必要である。
👍
Made with Slashpage