Automated Grading of Handwritten Mathematics Using Vision-Capable LLMs

작성자

Haebom

카테고리

Empty

저자

Jacob Levine, Miguel Aenlle, Craig Zilles, Matthew West, Mariana Silva

💡 개요

본 연구는 필기 수학 문제 채점을 자동화하기 위해 Vision-capable LLM을 활용하는 방법을 제안합니다. 기존 파이프라인을 확장하여 이미지에서 수학 내용을 인식하고, 강사가 정의한 채점 기준에 따라 평가를 수행하는 통합 LLM 호출 방식을 사용합니다. 두 대학 STEM 강좌의 실제 학생 과제를 대상으로 평가한 결과, 높은 전반적인 정확도를 보였으며, 대부분의 오류는 채점 기준 적용 오류보다는 필기 내용 인식 실패로 인한 것임을 발견했습니다.

🔑 시사점 및 한계

•

Vision-capable LLM을 활용하면 필기 수학 문제의 채점 자동화를 상당 부분 달성할 수 있습니다.

•

현재 LLM 기반 채점 시스템의 오류는 채점 기준 적용보다는 입력 이미지의 품질이나 내용 인식 실패에서 발생하는 경우가 많습니다.

•

향후 연구는 이미지 품질 개선, 동등한 표현 인식 능력 향상, 환각 현상 감소 등 LLM의 인식 및 평가 능력을 더욱 발전시키는 데 초점을 맞춰야 합니다.

PDF 보기

Made with Slashpage