Automated Knowledge Component Generation and Knowledge Tracing for Coding Problems
Created by
Haebom
저자
Zhangqi Duan, Nigel Fernandez, Arun Balajiee Lekshmi Narayanan, Mohammad Hassany, Rafaella Sampaio de Alencar, Peter Brusilovsky, Bita Akram, Andrew Lan
개요
본 논문은 온라인 학습 플랫폼에서 개인화된 학습 및 피드백을 위해 문제에 매핑된 지식 구성 요소(KC)를 사용하는 지식 추적(KT) 모델을 제시합니다. 기존의 KC 생성 및 태깅 작업은 전문가의 수작업으로 매우 많은 노력이 필요했으나, 본 논문에서는 대규모 언어 모델(LLM) 기반의 완전 자동화된 파이프라인을 제시합니다. 이 파이프라인을 이용하여 생성된 KC와 LLM 기반 KT 프레임워크(KCGen-KT)를 실제 학생 코드 제출 데이터셋에 적용하여 기존 KT 방법 및 사람이 작성한 KC보다 향상된 성능을 보임을 실험적으로 증명합니다. 특히, 생성된 KC의 학습 곡선을 분석하여 인지 모델 하에서 사람이 작성한 KC보다 더 나은 적합성을 보이는 것을 확인하고, 강사를 대상으로 한 평가를 통해 생성된 문제-KC 매핑의 정확성을 검증합니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용하여 KC 생성 및 태깅 과정을 자동화함으로써, 온라인 학습 플랫폼에서 개인화된 학습 및 피드백 시스템 구축에 필요한 시간과 비용을 크게 절감할 수 있습니다.
◦
LLM 기반 KCGen-KT는 기존 KT 방법 및 사람이 작성한 KC보다 학생의 미래 응답 예측 성능이 우수함을 보였습니다.
◦
생성된 KC의 학습 곡선 분석을 통해 인지 모델의 적합성을 향상시킬 수 있음을 제시합니다.
◦
강사 평가를 통해 생성된 문제-KC 매핑의 정확성을 검증했습니다.
•
한계점:
◦
LLM 기반 KC 생성의 정확성 및 신뢰도에 대한 추가적인 연구가 필요합니다.
◦
다양한 유형의 문제 및 학습 과제에 대한 일반화 가능성을 검증할 필요가 있습니다.
◦
LLM의 편향성이나 오류가 KC 생성 및 KT 성능에 미치는 영향에 대한 분석이 부족합니다.
◦
사용된 데이터셋의 특성에 따라 결과가 달라질 수 있으므로, 다양한 데이터셋에 대한 추가적인 실험이 필요합니다.
