Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Enhancing Marker Scoring Accuracy through Ordinal Confidence Modelling in Educational Assessments

Created by
  • Haebom

저자

Abhirup Chakravarty, Mark Brenchley, Trevor Breakspear, Ian Lewin, Yan Huang

개요

자동 에세이 채점(AES)에서 신뢰성 높은 점수만 공개하는 것은 중요한 윤리적 과제입니다. 본 연구는 신뢰도 추정을 분류 작업으로 설정하여 AES가 생성한 점수가 후보자를 적절한 CEFR 수준에 정확하게 배치했는지 여부를 예측합니다. 이진 결정이지만, 점수 구간화를 사용하여 n-ary 분류 문제로 재구성하고, CEFR 레이블의 순서 구조를 통합하는 새로운 Kernel Weighted Ordinal Categorical Cross Entropy (KWOCCE) 손실 함수를 도입하여 점수 도메인의 고유한 세분성을 활용합니다. 최고 성능 모델은 0.97의 F1 점수를 달성하여, 시스템이 100% CEFR 일치율로 점수의 47%를, 95% 이상의 CEFR 일치율로 99%를 공개할 수 있도록 합니다. 이는 모든 AM 예측 점수를 공개하는 독립형 AES 모델의 약 92% CEFR 일치율과 비교됩니다.

시사점, 한계점

시사점: KWOCCE 손실 함수를 사용한 n-ary 분류 접근 방식은 자동 에세이 채점의 신뢰성을 크게 향상시켜, 더 높은 정확도로 점수를 공개할 수 있게 합니다. 이는 AES 시스템의 신뢰도와 윤리성을 높이는 데 기여합니다. 47%의 점수에 대해 100%의 CEFR 일치율을 달성한 것은 상당한 성과입니다.
한계점: 본 연구는 특정한 AES 시스템과 CEFR 프레임워크에 국한된 결과일 수 있습니다. 다른 언어나 채점 기준에 대한 일반화 가능성은 추가 연구가 필요합니다. 모델의 성능 향상에도 불구하고, 여전히 일부 점수는 신뢰할 수 없을 수 있으며, 이에 대한 보다 정교한 처리 방안이 필요할 수 있습니다. 데이터셋의 특성에 따라 성능이 달라질 수 있으므로, 다양한 데이터셋에 대한 추가 실험이 필요합니다.
👍