Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Evaluating Generative AI for CS1 Code Grading: Direct vs Reverse Methods

Created by
  • Haebom
Category
Empty

저자

Ahmad Memon, Abdallah Mohamed

자동화된 프로그래밍 과제 채점을 위한 AI 기반 기법 비교 연구

개요

본 논문은 프로그래밍 입문 과정의 과제 수동 채점의 시간 소모성과 일관성 부족 문제를 해결하기 위해, AI 기반 채점 기법을 비교한다. 구체적으로, AI가 직접 채점하는 \textit{Direct} 방식과, 오류를 수정한 후 수정 내역을 기반으로 점수를 매기는 새롭게 제안된 \textit{Reverse} 방식을 비교한다. 두 방식 모두 채점 정확도에 대한 범위의 영향을 평가하기 위해, 기존 채점 기준과 10배 확장된 채점 기준에서 평가되었다. AI가 할당한 점수는 다양한 코딩 문제와 오류 유형에 대해 인간 튜터의 평가와 비교 평가되었다.

시사점, 한계점

\textit{Direct} 방식은 빠르고 간단하지만, \textit{Reverse} 방식은 수정 노력에 초점을 맞춰 더 세분화된 평가를 제공하는 경우가 많다.
두 방식 모두 부분 점수 할당 및 논리 오류 처리를 위해 신중한 프롬프트 엔지니어링이 필요하다.
Gemini Flash 2.0을 사용하여 생성된 합성 학생 코드를 활용하여 AI 채점기를 다양한 제어된 오류 유형과 난이도에서 평가했다.
각 접근 방식의 강점과 약점, 프롬프트 설계의 실제 고려 사항, 그리고 CS 코스에서 일관성, 효율성 및 공정성을 향상시키는 것을 목표로 하는 하이브리드 인간-AI 채점 시스템의 향후 방향을 논의한다.
👍