Reasoning and Sampling-Augmented MCQ Difficulty Prediction via LLMs
Created by
- Haebom
Category
Empty
저자
Wanyong Feng, Peter Tran, Stephen Sireci, Andrew Lan
개요
본 논문은 다지선다형 문제(MCQ)의 난이도 예측을 위한 새로운 두 단계 방법을 제안합니다. 첫 번째 단계에서는 각 선택지에 도달하는 데 필요한 추론 과정을 대규모 언어 모델(LLM)을 사용하여 보강하여 MCQ의 복잡성을 더 잘 추정합니다. 두 번째 단계에서는 학생들의 지식 수준 차이를 고려하여 각 선택지(정답과 오답 모두)를 선택할 확률을 추정합니다. 이는 항목 반응 이론(IRT)에서 영감을 얻은 설정입니다. 이러한 확률 예측을 실제 값과 정렬하기 위해 KL divergence 기반의 규제 목표를 사용하고, 추정된 확률을 이용하여 MCQ의 난이도를 예측합니다. 두 개의 실제 수학 MCQ 데이터셋과 IRT를 사용하여 추정된 난이도 값을 이용하여 제안된 방법을 평가한 결과, 기존 방법보다 최대 28.3%의 평균 제곱 오차 감소와 34.6%의 결정 계수 향상을 보였습니다.
시사점, 한계점
•
시사점:
◦
대규모 언어 모델을 활용하여 다지선다형 문제의 난이도 예측 정확도를 향상시킬 수 있음을 보여줍니다.
◦
항목 반응 이론(IRT)을 활용하여 학생들의 지식 수준 차이를 고려함으로써 예측의 정확성을 높였습니다.
◦
제안된 방법은 기존 방법들보다 훨씬 높은 성능을 보였습니다.
•
한계점:
◦
현재 수학 문제에 대한 데이터셋만 사용하여 평가되었으므로 다른 과목이나 문제 유형에 대한 일반화 가능성은 추가 연구가 필요합니다.
◦
LLM의 성능에 의존적이므로 LLM의 한계가 본 방법의 성능에 영향을 미칠 수 있습니다.
◦
IRT를 사용하여 난이도 값을 추정하는 과정에서 발생할 수 있는 오차가 결과에 영향을 줄 수 있습니다.
