Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Evaluating Trust in AI, Human, and Co-produced Feedback Among Undergraduate Students

Created by
  • Haebom

저자

Audrey Zhang, Yifei Gao, Wannapon Suraworachet, Tanya Nazaretsky, Mutlu Cukurova

개요

본 연구는 고등 교육 환경에서 대규모 언어 모델(LLM) 기반 생성형 AI 피드백에 대한 학생들의 인식을 조사하여, 효과적인 구현 및 채택을 위한 중요한 정보를 제공하고자 하였다. 91명의 학부생을 대상으로 한 실험 설계를 통해 LLM, 인간, 그리고 인간-AI 공동 생성 피드백에 대한 학생들의 신뢰도를 비교 분석하였다. 특히 피드백 유형 식별 능력, 피드백 질에 대한 인식, 그리고 피드백 출처와 관련된 잠재적 편향에 영향을 미치는 요인들을 조사하였다. 결과적으로, 피드백 출처가 숨겨진 경우 학생들은 유용성과 객관성 측면에서 AI 및 공동 생성 피드백을 인간 피드백보다 선호하는 경향을 보였다. 그러나 피드백 출처가 공개되면 AI에 대한 부정적 편향이 강하게 나타났다. 흥미롭게도, 피드백 출처가 공개되었을 때 진정성이 감소한 것은 AI 피드백에만 국한되었고, 공동 생성 피드백은 긍정적 인식을 유지하였다. 교육적 AI 경험은 LLM 생성 피드백을 식별하는 학생들의 능력을 향상시켰고 모든 유형의 피드백에 대한 신뢰도를 높였다. 반대로, 일반적인 목적으로 AI를 오래 사용한 학생들은 피드백의 유용성과 신뢰성을 낮게 평가하는 경향이 있었다. 이러한 결과는 피드백 출처의 신뢰도, 그리고 AI 기반 피드백의 채택 및 교육적 영향을 위해 피드백 리터러시와 AI 리터러시 향상의 중요성을 시사한다.

시사점, 한계점

시사점:
AI 피드백에 대한 학생들의 인식은 피드백 출처의 공개 여부에 크게 좌우된다.
공동 생성 피드백은 AI 피드백의 단점(출처 공개 시 진정성 저하)을 보완할 수 있는 대안으로 제시될 수 있다.
AI 리터러시 및 피드백 리터러시 교육을 통해 학생들의 AI 피드백에 대한 편향을 완화할 필요가 있다.
학생들의 AI 사용 경험은 AI 피드백에 대한 인식에 영향을 미친다.
한계점:
본 연구는 특정 교육 환경과 학생 집단에 국한된 결과일 수 있다. 일반화에는 주의가 필요하다.
피드백의 질적 차이에 대한 객관적인 평가 기준이 부족하다.
인간 피드백과 AI 피드백의 비교에 있어서, 인간 피드백의 질적 수준이 일정하게 유지되었는지에 대한 검토가 필요하다.
더 다양한 유형의 AI 피드백 및 더 넓은 범위의 학생 집단을 포함한 후속 연구가 필요하다.
👍