Using Vision + Language Models to Predict Item Difficulty

Created by

Haebom

저자

Samin Khan

💡 개요

본 연구는 대규모 언어 모델(LLM), 특히 GPT-4.1-nano를 활용하여 데이터 시각화 이해력 평가 문항의 난이도를 예측하는 가능성을 탐색합니다. 문항의 텍스트 정보, 시각화 이미지, 또는 이 둘을 결합한 특징을 사용하여 문항별 정답률을 예측했으며, 시각 및 텍스트 특징을 모두 활용한 다중 모달 방식이 가장 낮은 평균 절대 오차(MAE)를 기록하며 우수한 성능을 보였습니다. 이는 LLM이 심리측정 분석 및 자동 문항 개발에 기여할 수 있는 잠재력을 시사합니다.

🔑 시사점 및 한계

•

LLM은 시각 및 텍스트 정보를 통합하여 데이터 시각화 이해력 문항의 난이도를 효과적으로 예측할 수 있습니다.

•

다중 모달 접근 방식이 단일 모달 접근 방식보다 우수한 예측 성능을 보여, 시각적 요소와 텍스트 정보를 함께 고려하는 것이 중요함을 입증합니다.

•

본 연구는 특정 LLM 모델과 데이터셋에 기반하므로, 다른 LLM 모델이나 다양한 유형의 평가 문항에 대한 일반화 가능성 및 적용 범위 확장이 향후 과제로 남아있습니다.

PDF 보기

Made with Slashpage