본 연구는 대규모 언어 모델(LLM)을 활용한 기계 학습 교육 지원 가능성을 조사한다. 특히, LLM이 기계 학습 코드의 일반적인 오류(pitfalls)를 식별하고 학습을 안내하는 피드백을 제공하는 능력에 초점을 맞춘다. 다양한 LLM(폐쇄형 모델 1개, 개방형 모델 3개)을 사용하여 코드 샘플 포트폴리오를 분석했다. 모든 모델이 기본적인 오류는 쉽게 식별하지만, 많은 일반적인 오류는 식별하지 못했다. 특히, 정보 유출로 이어질 수 있는 ML 파이프라인 초기 단계의 오류와 모델 선택 관련 오류를 식별하는 데 어려움을 보였다. 이는 현재의 LLM을 기계 학습 교육에 활용하는 것에 대한 의문을 제기하며, 초보 실무자의 활용에도 중요한 문제점을 제시한다. 그러나 LLM이 코드의 오류를 성공적으로 식별할 경우, 학습자를 안내하는 역할을 할 수 있는 잠재력을 보여주는 조언을 포함한 피드백을 제공한다. 또한 폐쇄형 및 개방형 LLM 모델의 기능을 비교하여 모델 크기의 차이가 크더라도 성능 차이가 상대적으로 작다는 것을 발견했다. 이는 교육 환경에서 비용 및 데이터 공유와 관련된 상업용 모델의 위험을 피하면서 더 작고 효율적인 LLM 모델을 배포하고 사용자 지정할 수 있는 기회를 제시한다.
