Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

"Did my figure do justice to the answer?" : Towards Multimodal Short Answer Grading with Feedback (MMSAF)

Created by
  • Haebom

저자

Pritam Sil, Pushpak Bhattacharyya

개요

본 논문은 학생들의 학습 과정에서 중요한 역할을 하는 평가, 특히 텍스트와 이미지를 함께 활용하는 개방형 답변 질문의 자동 채점 가능성에 대한 연구를 제시한다. 대규모 채점을 위해서는 다중 모달(텍스트 및 이미지)을 이해하고 비교 추론 능력이 뛰어난 거대 언어 모델이 필요하다는 점을 강조하며, 이를 위해 2,197개 데이터 포인트로 구성된 Multimodal Short Answer grading with Feedback (MMSAF) 데이터셋과 자동 데이터 생성 프레임워크를 제안한다. 기존 다중 모달 거대 언어 모델(MLLM)의 성능 평가 결과, 정답/오답/부분 정답 예측 정확도는 55%, 이미지 관련성 예측 정확도는 75% 수준임을 보였다. Pixtral과 ChatGPT 모델을 비교 분석한 결과, Pixtral은 생물학 분야에서, ChatGPT는 물리 및 화학 분야에서 인간 평가자와 더 높은 일치율을 보였다.

시사점, 한계점

시사점:
MMSAF 데이터셋과 자동 데이터 생성 프레임워크 제공을 통한 다중 모달 평가 연구 활성화.
다중 모달 거대 언어 모델의 개방형 답변 채점 가능성 및 한계 제시.
과학 과목별로 적합한 MLLM 모델의 차이점 확인.
한계점:
기존 MLLM의 정답/오답 예측 정확도(55%)가 아직 높지 않음.
이미지 관련성 예측 정확도(75%) 역시 개선의 여지가 있음.
데이터셋 크기(2,197개)가 대규모 모델 학습에 충분한지에 대한 추가 검토 필요.
과학 과목별 MLLM 성능 차이에 대한 추가 분석 및 원인 규명 필요.
👍