The Lazy Student's Dream: ChatGPT Passing an Engineering Course on Its Own
Created by
Haebom
저자
Gokul Puthumanaillam, Melkior Ornik
개요
본 논문은 대규모 언어 모델(LLM)인 ChatGPT가 1학기 분량의 학부 수준 제어 시스템 과목을 수강하는 능력에 대한 포괄적인 조사 결과를 제시합니다. 115개의 과제물을 평가하여, 현실적인 학생 사용 패턴을 시뮬레이션하는 "최소 노력" 프로토콜 하에서 ChatGPT의 성능을 평가했습니다. 자동 채점되는 객관식 문제부터 복잡한 Python 프로그래밍 과제, 장문의 분석적 글쓰기까지 다양한 평가 방식을 사용하여 엄격한 테스트 방법론을 적용했습니다. 분석 결과, 제어 시스템 공학에서 수학적 공식, 코딩 과제, 이론적 개념을 다루는 데 있어 AI의 강점과 한계에 대한 정량적 통찰력을 제공합니다. LLM은 B학점(82.24%)을 받았으며, 학급 평균(84.99%)에 근접했지만 넘지는 못했습니다. 구조화된 과제에서는 가장 좋은 결과를 보였고, 개방형 프로젝트에서는 가장 큰 한계를 보였습니다. 이러한 결과는 AI 발전에 대한 대응으로 강의 설계 수정에 대한 논의에 정보를 제공하며, 단순한 금지에서 벗어나 공학 교육에서 이러한 도구를 신중하게 통합하는 방향으로 나아가야 함을 시사합니다. 강의 계획서, 시험 문제, 설계 프로젝트, 예시 답안 등의 추가 자료는 프로젝트 웹사이트(https://gradegpt.github.io)에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
LLM이 학부 수준의 공학 과목에서 상당한 수준의 성취를 달성할 수 있음을 보여줌.
◦
AI 도구를 공학 교육에 통합하는 새로운 교육 방식에 대한 필요성 제기.
◦
구조화된 과제에서의 강점과 개방형 과제에서의 약점을 통해 LLM의 능력과 한계를 명확히 제시.
◦
실제 학생들의 과제 수행 방식을 모방한 "최소 노력" 프로토콜을 사용하여 현실적인 평가 수행.