본 논문은 대규모 언어 모델(LLM) 기반의 튜터링 챗봇과의 상호작용을 통해 수집된 실제 대학생 데이터셋인 StudyChat을 소개한다. 대학 수준 인공지능 과목에서 학생들이 프로그래밍 과제를 수행하는 동안 LLM 기반 웹 애플리케이션과의 상호작용 16,851개를 수집하고, 대화 행위 라벨링 기법을 사용하여 주석을 달았다. 데이터 분석을 통해 개념 이해 및 코딩 지원을 위해 LLM을 활용한 학생들이 과제 및 시험에서 더 좋은 성적을 거두었으며, 보고서 작성이나 과제 학습 목표 회피에 LLM을 사용한 학생들은 시험 성적이 낮았다는 사실을 발견했다. StudyChat은 LLM의 교육 분야에서의 역할에 대한 추가 연구를 위한 공유 자원으로 활용될 수 있다.
