Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Conversational Education at Scale: A Multi-LLM Agent Workflow for Procedural Learning and Pedagogic Quality Assessment

Created by
  • Haebom

저자

Jiahuan Pei, Fanghua Ye, Xin Sun, Wentao Deng, Koen Hindriks, Junxiao Wang

개요

본 논문은 대규모 언어 모델(LLM)을 활용하여 상호작용적인 교수-학습 대화를 시뮬레이션하는 WikiHowAgent라는 다중 에이전트 워크플로우를 제안한다. WikiHowAgent는 교사 에이전트, 학습자 에이전트, 상호작용 관리자, 평가자로 구성되어 절차적 학습을 촉진하고 교육적 질을 평가한다. 17개 도메인, 727개 주제에 걸쳐 14,287개의 튜토리얼을 기반으로 한 114,296개의 교사-학습자 대화 데이터셋을 소개하며, 계산 및 기준에 기반한 지표와 인간 판단 정렬을 결합한 평가 프로토콜을 사용한다. 다양한 설정에서 워크플로우의 효과를 보여주고, 도메인에 걸친 LLM의 기능에 대한 통찰력을 제공하며, 데이터셋과 구현은 완전히 오픈소스로 공개된다.

시사점, 한계점

시사점:
LLM을 활용한 대규모 상호작용적 교수-학습 시뮬레이션 가능성 제시
다양한 도메인과 주제에 걸친 방대한 데이터셋 구축 및 공개
계산 및 기준 기반 지표와 인간 판단을 결합한 객관적인 평가 방법 제시
LLM의 교육적 활용 가능성에 대한 실험적 증거 제시
한계점:
현재 제시된 평가 프로토콜의 객관성 및 신뢰도에 대한 추가적인 검증 필요
다양한 학습 스타일 및 개인차에 대한 고려 부족
LLM의 한계로 인한 교육적 오류 발생 가능성 및 해결 방안 미흡
장기적인 학습 효과 및 지식 습득에 대한 평가 부족
👍