The GPT Surprise: Offering Large Language Model Chat in a Massive Coding Class Reduced Engagement but Increased Adopters Exam Performances
Created by
Haebom
저자
Allen Nie, Yash Chandak, Miroslav Suzara, Ali Malik, Juliette Woodrow, Matt Peng, Mehran Sahami, Emma Brunskill, Chris Piech
개요
본 논문은 전 세계 5,831명의 학생들을 대상으로 GPT-4 기반 채팅 인터페이스 접근성이 코딩 교육에 미치는 영향을 조사한 대규모 무작위 통제 시험 결과를 제시합니다. 일부 학생들에게 GPT-4 접근 권한을 제공한 결과, 도구를 사용한 학생들의 시험 성적은 향상되었으나, 전반적으로 GPT-4 광고는 시험 참여율을 감소시키는 것으로 나타났습니다. 다른 형태의 수업 참여도 역시 감소하였지만, 이러한 감소는 학생들의 국적에 따라 달랐습니다. 낮은 인간 개발 지수 국가 학생들에게 LLM 접근 권한을 제공했을 때 시험 참여율이 증가한 것으로 나타났습니다. 결론적으로, 소개 단계 코딩 수업에서 LLM 사용의 긍정적 효과와 참여도 저하라는 부정적 영향이 공존하며, 장기적인 학업 성취에 미치는 영향은 불확실하다고 결론지었습니다. 향후 LLM의 교육 환경 통합에 대한 추가 연구 필요성을 강조합니다.
시사점, 한계점
•
시사점:
◦
GPT-4와 같은 LLM이 코딩 교육에서 학생들의 시험 성적 향상에 기여할 가능성을 보여줌.
◦
LLM 접근성이 낮은 인간 개발 지수 국가 학생들의 시험 참여율을 높이는 효과를 보임.
◦
LLM 도입이 학생 참여도에 부정적 영향을 미칠 수 있음을 시사.
◦
LLM의 교육 환경 통합에 대한 추가 연구의 필요성을 강조.
•
한계점:
◦
본 연구는 특정 코딩 수업 환경에서 진행되었으므로, 다른 교육 환경으로 일반화하기 어려움.
