The Lazy Student's Dream: ChatGPT Passing an Engineering Course on Its Own
Created by
- Haebom
Category
Empty
저자
Gokul Puthumanaillam, Melkior Ornik
개요
본 논문은 대규모 언어 모델(LLM)이 1학기 분량의 학부 제어 시스템 과목을 성공적으로 이수할 수 있는 능력에 대한 포괄적인 조사를 제시합니다. 115개의 과제물을 평가하여 실제 학생의 사용 패턴을 시뮬레이션하는 "최소 노력" 프로토콜 하에 ChatGPT를 사용하여 LLM의 성능을 평가했습니다. 자동 채점되는 객관식 질문부터 복잡한 Python 프로그래밍 과제 및 장문의 분석적 글쓰기까지 다양한 평가 형식에 걸쳐 엄격한 테스트 방법론을 사용했습니다. 분석 결과는 제어 시스템 엔지니어링에서 수학적 공식, 코딩 과제 및 이론적 개념을 처리하는 AI의 강점과 한계에 대한 정량적 통찰력을 제공합니다. LLM은 B 학점(82.24%)을 받았으며, 학급 평균(84.99%)에는 미치지 못했습니다. 구조화된 과제에서 가장 우수한 결과를 보였고, 개방형 프로젝트에서는 가장 큰 한계를 보였습니다. 이러한 결과는 AI 발전에 대한 대응으로 단순 금지 이상으로 이러한 도구를 공학 교육에 신중하게 통합하는 방향으로 과정 설계 적응에 대한 논의에 정보를 제공합니다. 강의 계획서, 시험 문제, 설계 프로젝트 및 예시 답변을 포함한 추가 자료는 프로젝트 웹사이트(https://gradegpt.github.io)에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
LLM이 학부 수준의 공학 과목에서 상당한 수준의 성취를 달성할 수 있음을 보여줌.
◦
구조화된 과제보다 개방형 과제에서 LLM의 성능이 저하됨을 확인, AI의 한계와 교육 과정 설계 개선 방향 제시.
◦
AI 활용에 대한 단순 금지가 아닌, 교육과정에 AI를 효과적으로 통합하는 방안 모색 필요성 제시.
◦
LLM의 성능 평가를 위한 엄격한 테스트 방법론 제시.
•
한계점:
◦
"최소 노력" 프로토콜 사용으로 인한 LLM 성능의 저평가 가능성.
◦
샘플 크기(115개 과제물)의 제한.
◦
ChatGPT라는 특정 LLM에 대한 결과이므로 다른 LLM에 대한 일반화의 어려움.
◦
개방형 문제 해결 능력 부족.
