Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Conversational Education at Scale: A Multi-LLM Agent Workflow for Procedural Learning and Pedagogic Quality Assessment

Created by
  • Haebom

作者

Jiahuan Pei, Fanghua Ye, Xin Sun, Wentao Deng, Koen Hindriks, Junxiao Wang

概要

この論文では、大規模言語モデル(LLM)を活用してインタラクティブな教授と学習の会話をシミュレートするWikiHowAgentというマルチエージェントワークフローを提案します。 WikiHowAgentは、教師と学習者のエージェント、インタラクションマネージャ、評価者を統合して、手続き型学習を促進し、教育的質を評価します。 17のドメイン、727のトピックにわたって14,287のチュートリアルに基づく114,296の教師と学習者の会話データセットを紹介し、計算と基準に基づいた指標と人間の判断を組み合わせた評価プロトコルを使用します。さまざまな設定でワークフローの効果を示し、ドメイン全体にわたるLLM機能への洞察を提供します。データセットと実装は完全にオープンソースで公開されています。

Takeaways、Limitations

Takeaways:
LLMを活用したインタラクティブな教授学習システムの開発に対する新しいアプローチの提示
さまざまなドメインやトピックをカバーする大規模なデータセットを提供
計算と人間の判断に基づく客観的評価プロトコルの提示
LLMの教育的利用可能性と限界に関する洞察を提供
オープンソースによる研究の再現性と拡張性の向上
Limitations:
WikiHowデータに基づく学習シナリオの一般化の可能性に関するさらなる検証が必要
さまざまなタイプの学習と評価方式の適用性の制限
LLMの偏向性と倫理的問題の考慮不足
人間教師との比較分析不足
実際の教育環境の適用に関するさらなる研究が必要
👍