Bridging LMS and generative AI: dynamic course content integration (DCCI) for enhancing student satisfaction and engagement via the ask ME assistant
Created by
Haebom
Category
Empty
저자
Kovan Mzwri (Doctoral School of Informatics, Eotvos Lorand University, Budapest, Hungary), Marta Turcsanyi-Szabo (Department of Media & Educational Technology, Faculty of Informatics, Eotvos Lorand University, Budapest, Hungary)
개요
본 연구는 대규모 언어 모델(LLM)을 학습 관리 시스템(LMS)과 통합하여 교육에서의 작업 자동화와 접근성을 향상시키는 것을 목표로 한다. LLM의 환각(hallucination) 문제를 해결하기 위해, Canvas LMS에서 동적으로 학습 내용을 검색하고 프롬프트 엔지니어링을 통해 LLM의 컨텍스트 창 내에서 구조화하는 Dynamic Course Content Integration (DCCI) 메커니즘을 제안한다. DCCI를 기반으로 하는 LLM 기반 어시스턴트 "Ask ME"는 맥락을 인식하고 커리큘럼에 맞춰 답변을 제공하며 환각을 완화한다. Eotvos Lorand University의 120명의 1학년 프로그래밍 학생을 대상으로 DCCI의 효과를 평가하기 위해, 자기 결정 이론(자율성, 유능성)과 기술 수용 모델(지각된 유용성, 사용 편의성)에 기반한 혼합 연구를 수행했다. 14,746개의 상호 작용 로그와 101명의 학생이 완료한 설문조사를 분석한 결과, Ask ME는 높은 만족도와 긍정적인 평가를 받았다.
시사점, 한계점
•
DCCI는 LLM의 신뢰성, 학생 만족도 및 AI 기반 교육 자동화에서의 참여를 향상시켰다.
•
Ask ME는 시기적절하고 맥락 관련 답변을 제공하여 학생들의 만족도를 높였다(평균 4.65/5).
•
Canvas 통합을 통해 플랫폼 전환을 줄여 사용 편의성, 참여도, 이해도 및 주제 탐구를 향상시켰다(78.06% 동의).
