Sign In

Large Language Model-Driven Dynamic Assessment of Grammatical Accuracy in English Language Learner Writing

Created by
  • Haebom
Category
Empty

저자

Timur Jaganov, John Blake, Julian Villegas, Nicholas Carr

개요

본 연구는 대규모 언어 모델(LLM)을 활용하여 동적 평가(DA)의 규모를 확장할 가능성을 조사했습니다. 이를 위해 영어 학습자에게 동적인 피드백을 제공하는 다양한 LLM을 지원하는 모듈식 마이크로서비스 기반 문법 교육 애플리케이션인 DynaWrite를 개발했습니다. 21개의 LLM에 대한 초기 테스트 결과, GPT-4o와 neural chat이 언어 학습 교실에서 DA를 확장할 가능성이 가장 높은 것으로 나타났습니다. 두 모델에 대한 추가 테스트에서 사용자 문장의 문법 오류를 정확하게 식별하는 능력은 비슷했지만, GPT-4o는 명확하고 일관되며 점진적으로 명시적인 힌트를 생성하여 DA의 질적 측면에서 neural chat보다 꾸준히 우수한 성능을 보였습니다. 상세한 성능 테스트를 통해 실시간 응답성과 시스템 안정성도 확인되었으며, GPT-4o는 충분한 속도와 안정성을 보였습니다. 본 연구는 LLM을 사용하여 동적 평가의 규모를 확장하고, 전통적인 교사-학습자 환경보다 더 많은 그룹에게 동적 평가를 제공할 수 있음을 보여줍니다.

시사점, 한계점

시사점:
LLM을 활용하여 동적 평가(DA)를 확장 가능함을 보여줌.
GPT-4o가 DA의 질적 측면에서 우수한 성능을 보임.
DynaWrite와 같은 마이크로서비스 기반 애플리케이션을 통해 LLM 기반 DA 시스템 구축 가능성 제시.
LLM 기반 DA가 기존 교사 주도 방식보다 더 많은 학습자에게 동적 평가 제공 가능.
한계점:
연구 대상 LLM이 21개로 제한적임.
GPT-4o와 neural chat 외 다른 LLM에 대한 추가 연구 필요.
다양한 언어 및 학습 환경에 대한 일반화 가능성 검증 필요.
장기적인 시스템 안정성 및 유지보수에 대한 추가 연구 필요.
LLM 기반 DA의 효과에 대한 장기적인 학습 성과 분석 필요.
👍