QG-SMS: Enhancing Test Item Analysis via Student Modeling and Simulation
Created by
- Haebom
Category
Empty
저자
Bang Nguyen, Tingting Du, Mengxia Yu, Lawrence Angrave, Meng Jiang
개요
본 논문은 교육 평가에서 점차 중요해지고 있는 질문 생성(QG) 과제의 평가 방식에 대해 다룹니다. 기존 QG 평가 방식은 교육적 가치와의 연관성이 부족하다는 한계를 지적하며, 교육자들이 자주 사용하는 검사 문항 분석 기법을 QG 평가에 도입합니다. 주제 범위, 문항 난이도, 문항 변별력, 오답 효율성 등의 차원에서 질이 다른 후보 질문 쌍을 구성하고, 기존 QG 평가 방식이 이러한 차이를 효과적으로 구별하는지 조사합니다. 기존 방식의 한계를 밝히고, 학생 모델링 및 시뮬레이션을 위한 대규모 언어 모델을 활용하여 검사 문항 분석을 수행하는 새로운 QG 평가 프레임워크인 QG-SMS를 제안합니다. 광범위한 실험과 인간 평가 연구를 통해 시뮬레이션된 학생 프로필이 도입됨으로써 더 효과적이고 견고한 검사 문항 평가가 가능함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
기존 QG 평가 방식의 교육적 가치와의 연관성 부족 문제 제기 및 해결 방안 제시.
◦
검사 문항 분석 기법을 활용한 새로운 QG 평가 프레임워크(QG-SMS) 제안.
◦
대규모 언어 모델 기반 학생 모델링 및 시뮬레이션을 통한 더욱 효과적이고 견고한 QG 평가 가능성 입증.
◦
학생 성과와 관련된 검사 문항 질 평가의 정확성 향상.
•
한계점:
◦
QG-SMS 프레임워크의 일반화 가능성 및 다양한 교육 환경에 대한 적용성에 대한 추가 연구 필요.
◦
대규모 언어 모델의 편향성 및 한계가 QG-SMS 평가 결과에 미치는 영향에 대한 추가 분석 필요.
◦
시뮬레이션된 학생 프로필의 현실성 및 신뢰도에 대한 검토 필요.
