본 논문은 교육 평가에서 점차 중요해지고 있는 질문 생성(QG) 과제의 평가 방식에 대한 한계를 지적하고, 교육적 가치와 명확히 연결되지 못하는 기존 평가 방식의 문제점을 제기한다. 기존 QG 평가 방식이 주제 범위, 문항 난이도, 문항 변별도, 오답 효율성 등 질문의 질적 차이를 제대로 구분하지 못함을 보여주는 실험 결과를 제시한다. 이러한 문제를 해결하기 위해, 본 논문은 대규모 언어 모델을 활용한 학생 모델링 및 시뮬레이션을 통해 문항 분석을 수행하는 새로운 QG 평가 프레임워크인 QG-SMS를 제안한다. 실험 및 인간 평가 연구를 통해 QG-SMS가 시뮬레이션된 학생 프로필을 통해 더 효과적이고 견고한 문항 평가를 가능하게 함을 보여준다.
