본 논문은 대규모 언어 모델(LLM)을 활용한 영어 표준화 시험(EST) 준비 지원 가능성을 연구합니다. 다양한 유형의 EST 문제(29가지 유형, 10,576개 이상의 문제)를 포함하는 종합적인 벤치마크인 ESTBOOK을 소개하고, 이를 사용하여 LLM의 정확도와 추론 효율성을 체계적으로 평가합니다. 또한 복잡한 EST 문제를 특정 작업별 해결 단계로 분해하는 분석 프레임워크를 제안하여 LLM의 추론 과정 각 단계별 성능을 평가합니다. 연구 결과는 교육 환경에서 LLM의 역량에 대한 통찰력을 제공하고, 지능형 튜터링 시스템으로서의 신뢰성 향상을 위한 전략을 제시합니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용한 EST 준비 지원 가능성을 제시하고, 그 효율성 및 정확도를 객관적으로 평가하는 벤치마크(ESTBOOK)를 개발.
◦
LLM의 추론 과정을 단계별로 분석하여 성능 향상을 위한 구체적인 방향 제시.
◦
교육 환경에서 LLM의 활용 가능성 및 지능형 튜터링 시스템 개발에 대한 시사점 제공.
•
한계점:
◦
ESTBOOK에 포함된 시험의 종류 및 문제 유형의 제한으로 일반화 가능성에 대한 추가 연구 필요.
