Sign In

Next Token Knowledge Tracing: Exploiting Pretrained LLM Representations to Decode Student Behaviour

Created by
  • Haebom
Category
Empty

저자

Max Norris, Kobi Gal, Sahan Bulathwela

개요

학생 지식 모델링은 AI를 교육에 활용하는 데 있어 핵심적인 과제이며, 맞춤형 학습에 중요한 영향을 미칩니다. Knowledge Tracing (KT)는 학습 환경에서 학생들의 이전 상호 작용을 기반으로 교육 문제에 대한 학생들의 반응을 예측하는 것을 목표로 합니다. 기존 KT 모델은 일반적으로 기술 태그 및 타임스탬프와 같은 메타데이터와 함께 정답 여부를 사용하지만, 중요한 교육적 통찰력의 원천인 질문 텍스트를 간과하는 경우가 많습니다. 본 논문은 사전 학습된 대규모 언어 모델 (LLM)을 사용하여 KT를 다음 토큰 예측 작업으로 재구성하는 새로운 접근 방식인 Next Token Knowledge Tracing (NTKT)를 제안합니다. NTKT는 학생 기록과 질문 내용을 모두 텍스트 시퀀스로 표현하여 LLM이 행동과 언어 모두에서 패턴을 학습할 수 있도록 합니다. 실험 결과는 최첨단 신경 KT 모델보다 성능을 크게 향상시키고 cold-start 질문과 사용자에 대해 훨씬 더 잘 일반화됩니다.

시사점, 한계점

시사점:
질문 내용이 KT에서 중요하다는 것을 강조합니다.
사전 학습된 LLM의 표현을 활용하여 학생 학습을 더 효과적으로 모델링하는 이점을 보여줍니다.
NTKT는 기존 KT 모델보다 성능이 향상되고 cold-start 문제에 강합니다.
한계점:
논문 자체에서 언급된 한계점은 명시되지 않았습니다.
👍