NLP Methods May Actually Be Better Than Professors at Estimating Question Difficulty
Created by
Haebom
저자
Leonidas Zotos, Ivo Pascal de Jong, Matias Valdenegro-Toro, Andreea Ioana Sburlea, Malvina Nissim, Hedderik van Rijn
개요
본 논문은 대학 교수와 대규모 언어 모델(LLM)을 이용하여 객관식 시험 문제의 난이도를 예측하는 능력을 비교 분석한 연구입니다. 신경망 및 기계학습 분야의 참/거짓 문제를 대상으로, 세 명의 교수와 여러 가지 LLM 기반 방법을 비교하여 학생들의 정답률을 예측하는 성능을 평가했습니다. 그 결과, 교수들의 난이도 판별 능력은 제한적이며, Gemini 2.5를 직접 사용하는 방법보다 성능이 낮다는 것을 발견했습니다. 하지만 42개의 훈련 샘플만을 사용하여 LLM의 불확실성을 이용한 지도 학습을 통해 더 나은 결과를 얻었습니다. 따라서 LLM의 불확실성을 활용한 지도 학습은 교수들이 시험 문제의 난이도를 더 잘 예측하고 평가의 질을 향상시키는 데 도움이 될 수 있음을 결론지었습니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용하여 시험 문제의 난이도를 효과적으로 예측할 수 있음을 보여줌.
◦
LLM의 불확실성을 활용한 지도 학습이 교수의 난이도 예측 능력을 향상시킬 수 있음을 제시.
