본 논문은 학생들의 학습 과정에서 중요한 역할을 하는 평가, 특히 텍스트와 이미지를 함께 활용하는 개방형 답변 질문의 자동 채점 가능성에 대한 연구를 제시한다. 대규모 채점을 위해서는 다중 모달(텍스트 및 이미지)을 이해하고 비교 추론 능력이 뛰어난 거대 언어 모델이 필요하다는 점을 강조하며, 이를 위해 2,197개 데이터 포인트로 구성된 Multimodal Short Answer grading with Feedback (MMSAF) 데이터셋과 자동 데이터 생성 프레임워크를 제안한다. 기존 다중 모달 거대 언어 모델(MLLM)의 성능 평가 결과, 정답/오답/부분 정답 예측 정확도는 55%, 이미지 관련성 예측 정확도는 75% 수준임을 보였다. Pixtral과 ChatGPT 모델을 비교 분석한 결과, Pixtral은 생물학 분야에서, ChatGPT는 물리 및 화학 분야에서 인간 평가자와 더 높은 일치율을 보였다.
