본 논문은 교육용 객관식 문제(MCQ) 작성 시 학생들의 오개념과 지식 격차를 효과적으로 파악하고 이해도를 정확하게 평가하기 위해 그럴듯한 오답지를 생성하는 것이 중요함을 강조합니다. 기존 연구들이 오답지 생성의 어려움에 충분히 주목하지 못했던 점을 지적하며, 학생들이 선택할 가능성이 높은 오답지를 생성하는 모델을 훈련하는 파이프라인을 제시합니다. 먼저, 학생들의 오개념을 추론하고 두 오답지의 상대적 그럴듯함을 평가하는 쌍대 순위 지정 모델을 훈련하고, 이를 이용하여 쌍대 오답지 순위 데이터셋을 생성합니다. 그런 다음, Direct Preference Optimization (DPO)을 통해 더 그럴듯한 오답지를 생성하는 오답지 생성기를 훈련합니다. 컴퓨터 과학 과목(Python, DB, MLDL)에 대한 실험 결과, 제안된 쌍대 순위 지정 모델이 학생들의 잠재적 오해를 효과적으로 파악하고, 인간 전문가와 비슷한 순위 정확도를 달성함을 보여줍니다. 또한, 제안된 오답지 생성기는 여러 기준 모델보다 그럴듯한 오답지를 생성하고, 더 높은 문항 변별 지수(DI)를 가진 질문을 생성합니다.
