Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Conversational Education at Scale: A Multi-LLM Agent Workflow for Procedural Learning and Pedagogic Quality Assessment

Created by
  • Haebom

저자

Jiahuan Pei, Fanghua Ye, Xin Sun, Wentao Deng, Koen Hindriks, Junxiao Wang

개요

본 논문은 대규모 언어 모델(LLM)을 활용하여 상호작용적인 교수-학습 대화를 시뮬레이션하는 WikiHowAgent라는 다중 에이전트 워크플로우를 제안합니다. WikiHowAgent는 교사 및 학습자 에이전트, 상호작용 관리자, 평가자를 통합하여 절차적 학습을 촉진하고 교육적 질을 평가합니다. 17개 도메인, 727개 주제에 걸쳐 14,287개의 튜토리얼을 기반으로 하는 114,296개의 교사-학습자 대화 데이터셋을 소개하며, 계산 및 기준에 기반한 지표와 인간 판단 정렬을 결합한 평가 프로토콜을 사용합니다. 다양한 설정에서 워크플로우의 효과를 보여주고, 도메인 전반에 걸친 LLM 기능에 대한 통찰력을 제공합니다. 데이터셋과 구현은 완전히 오픈소스로 공개됩니다.

시사점, 한계점

시사점:
LLM을 활용한 상호작용적 교수-학습 시스템 개발에 대한 새로운 접근 방식 제시
다양한 도메인과 주제를 포괄하는 대규모 데이터셋 제공
계산 및 인간 판단 기반의 객관적인 평가 프로토콜 제시
LLM의 교육적 활용 가능성 및 한계에 대한 통찰력 제공
오픈소스를 통한 연구의 재현성 및 확장성 증대
한계점:
WikiHow 데이터에 기반한 학습 시나리오의 일반화 가능성에 대한 추가 검증 필요
다양한 유형의 학습 및 평가 방식에 대한 적용성 제한
LLM의 편향성 및 윤리적 문제에 대한 고려 부족
인간 교사와의 비교 분석 부족
실제 교육 환경 적용에 대한 추가 연구 필요
👍