Bridging LMS and Generative AI: Dynamic Course Content Integration (DCCI) for Connecting LLMs to Course Content -- The Ask ME Assistant
Created by
Haebom
저자
Kovan Mzwri (Doctoral School of Informatics, Eotvos Lorand University, Budapest, Hungary), Marta Turcsanyi-Szabo (Department of Media & Educational Technology, Faculty of Informatics, Eotvos Lorand University, Budapest, Hungary)
개요
본 논문은 대규모 언어 모델(LLM)을 학습 관리 시스템(LMS)과 통합하여 교육의 작업 자동화 및 접근성을 향상시키는 방법을 제시한다. LLM의 환각(hallucination) 문제를 해결하기 위해, Canvas LMS로부터 강의 내용 및 커리큘럼을 동적으로 검색하고 LLM 기반 어시스턴트인 Ask ME에 통합하는 동적 강의 콘텐츠 통합(DCCI) 메커니즘을 소개한다. DCCI는 프롬프트 엔지니어링을 활용하여 검색된 콘텐츠를 LLM의 컨텍스트 창 내에 구조화함으로써 정확성, 관련성 및 맥락적 일관성을 보장한다. 사용자 만족도 평가 및 구조화된 설문조사를 포함하는 혼합 방법론을 통해 DCCI의 효과, Ask ME의 사용성, 그리고 교육에서 AI에 대한 학생들의 광범위한 인식을 평가하였다. 파일럿 연구 결과, Ask ME는 관리 및 과정 관련 문의에 대해 시의적절하고 맥락적으로 관련된 응답을 제공하는 능력을 인정받으며 높은 사용자 만족도(4.614/5)를 보였다. 또한 대다수의 학생들은 Ask ME의 Canvas LMS와의 강의 콘텐츠 통합이 플랫폼 전환을 줄이고 사용성, 참여도 및 이해도를 향상시킨다는 데 동의했다. AI가 수업 중 주저함을 줄이고 자기 주도적 학습과 지적 호기심을 키우는 데 기여한다는 점도 강조되었다.
시사점, 한계점
•
시사점:
◦
DCCI 메커니즘을 통해 LLM의 환각 문제를 효과적으로 완화할 수 있음을 보여줌.
◦
LLM 기반 어시스턴트가 학생들의 학습 참여도와 이해도를 향상시킬 수 있음을 시사.
◦
AI가 학생들의 자기주도적 학습 및 지적 호기심을 증진시키는 데 기여할 수 있음을 확인.
◦
LMS와의 통합을 통해 플랫폼 전환을 줄이고 사용성을 개선할 수 있음을 제시.
•
한계점:
◦
AI 과의존, 정확도 한계, 표절 및 학생-교사 상호 작용 감소와 같은 윤리적 문제에 대한 우려 제기.
◦
AI 도입에 대한 전략적 접근, 윤리적 안전 장치 및 인간-AI 협업을 우선시하는 교육적 프레임워크의 필요성 강조.
