Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Prompt-Based Cost-Effective Evaluation and Operation of ChatGPT as a Computer Programming Teaching Assistant

Created by
  • Haebom

저자

Marc Ballestero-Ribo, Daniel Ortiz-Martinez

개요

본 논문은 대규모 언어 모델(LLM)을 활용하여 대학생들의 프로그래밍 입문 과정에서 학생들에게 피드백을 제공하는 방안을 연구합니다. GPT-3.5T와 GPT-4T 두 모델의 성능을 평가한 결과, GPT-4T가 GPT-3.5T보다 훨씬 우수하지만 부정확한 정보를 생성할 가능성이 있어 실제 적용에는 미흡함을 보였습니다. 이에 따라, 문맥 학습 기법을 활용한 신중하게 설계된 프롬프트를 제안하여 평가 과정의 자동화 및 부정확한 피드백 비율의 하한선을 제공하는 방법을 제시합니다. 마지막으로, 제안된 프롬프트 기법을 기반으로 실용적인 학습 도구 구현 전략을 제시하고, 이를 통한 교육적 가능성을 논의합니다.

시사점, 한계점

시사점:
LLM을 활용한 1:1 학습 환경 구축 가능성 제시
GPT-4T의 향상된 성능 확인 및 개선 방향 제시
프롬프트 엔지니어링을 통한 LLM 기반 피드백 시스템 효율 향상 가능성 확인
실용적인 LLM 기반 학습 도구 구현 전략 제시 및 교육적 시사점 제시
한계점:
GPT-4T의 부정확한 정보 생성 가능성으로 인한 실제 적용의 어려움
제안된 프롬프트 및 구현 전략의 실제 교육 현장 적용 및 효과에 대한 추가 연구 필요
현재 연구는 프로그래밍 입문 과정에 국한되어 다른 과목으로의 일반화 가능성에 대한 검토 필요
👍