Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Exploring LLM-Generated Feedback for Economics Essays: How Teaching Assistants Evaluate and Envision Its Use

Created by
  • Haebom

저자

Xinyi Lu, Aditya Mahesh, Zejia Shen, Mitchell Dudley, Larissa Sano, Xu Wang

개요

본 연구는 AI 기반 피드백 엔진을 활용하여 대학 경제학 수업의 단답형 과제에 대한 교수 조교들의 피드백 제공 과정을 효율화하고 향상시킬 가능성을 조사했습니다. LLM 기반 피드백 엔진을 개발하여 교수 조교들이 사용하는 채점 기준에 따라 학생 에세이에 대한 피드백을 생성하였습니다. 20회에 걸친 숙고 과정 연구를 통해 5명의 조교들이 AI 피드백을 평가하고, 자신들의 수기 피드백과 비교하며, AI 피드백을 제안으로 활용하는 방식을 고려하도록 했습니다. 연구 결과, AI가 질 높은 피드백을 생성하려면 상세한 채점 기준이 중요하며, AI 피드백을 단계적으로 제시하여 조교들이 활용성을 높일 수 있음을 보여줍니다.

시사점, 한계점

시사점:
AI 피드백을 제안으로 활용하면 채점 속도 향상, 일관성 증대, 전반적인 피드백 질 향상에 기여할 수 있다.
AI 피드백 생성을 위한 상세한 채점 기준 제공의 중요성을 강조.
AI 피드백 생성 과정의 단계적 분해 및 중간 결과 제시의 중요성을 제시.
한계점:
연구 대상이 5명의 조교와 20회의 1시간 세션으로 제한되어 일반화 가능성에 한계가 있을 수 있음.
특정 과목(경제학)의 단답형 에세이에 국한된 연구 결과이므로 다른 과목이나 과제 유형으로의 일반화에는 추가 연구가 필요함.
AI 피드백 엔진의 성능 및 한계에 대한 자세한 기술 부족.
👍