Sign In

AI-Enabled grading with near-domain data for scaling feedback with human-level accuracy

Created by
  • Haebom
Category
Empty

저자

Shyam Agarwal, Ali Moghimi, Kevin C. Haudek

개요

본 논문은 단답형 주관식 질문 채점을 위한 새로운 실용적인 접근 방식을 제안합니다. 제한된 강사의 시간, 대규모 학급 규모, 자원 제약 등의 문제로 시의적절하고 상세한 평가가 어려운 현실을 해결하고자, 과거 유사 질문의 데이터를 활용하여 학생들의 개방형 응답을 평가하는 프레임워크를 제시합니다. 제안된 방법은 기존 머신러닝 모델 및 GPT 3.5, GPT 4, GPT 4o와 같은 비 미세 조정된 대규모 언어 모델보다 우수한 성능을 보이며, 채점 기준을 미리 작성할 필요가 없고 실제 교실 환경을 고려하여 설계되었습니다. 또한, 인간이 라벨링한 데이터를 사용한 정확도 및 데이터 이점을 포함하여 근접 도메인 데이터로부터 학습에 대한 통찰력을 제공하며, 근접 도메인 데이터를 기반으로 한 자동 단답형 채점 문제를 공식화한 최초의 연구입니다.

시사점, 한계점

단답형 주관식 질문 채점의 효율성 및 정확성 향상
강사의 시간 및 자원 제약 문제를 해결하는 실용적인 프레임워크 제시
과거 유사 질문 데이터를 활용한 근접 도메인 학습의 효과 입증
자동 채점의 새로운 접근 방식 제시
미리 작성된 채점 기준 없이 작동 가능
실제 교실 환경에 적합하도록 설계
근접 도메인 데이터 기반 자동 단답형 채점 문제 공식화의 한계점은 논문에 명시되지 않음
👍