Measuring Teaching with LLMs
Created by
- Haebom
Category
Empty
저자
Michael Hardy
개요
대규모 언어 모델(LLM)을 활용하여 교육의 지속적인 과제인 객관적이고 확장 가능한 교육의 질 측정을 시도함. 문장 수준 임베딩 기반의 사용자 정의 LLM을 사용하여 기존의 subword 토큰화 방식보다 교실 수업 녹취록의 장문 및 해석적 특성에 더 적합한 아키텍처를 구현함. 데이터 효율적인 훈련 방식을 통해 다양한 문장 임베딩을 체계적으로 평가하고, 전문적인 인간 평가 수준 또는 그 이상의 성능을 달성함을 보임. 모델은 수업 수준의 특징에 더 많은 점수 변동성을 부여하며, 교사 가치 부가 측정치와도 일치하는 결과를 보임.
시사점, 한계점
•
시사점:
◦
문장 수준 임베딩 기반 LLM을 활용한 교육의 질 측정 가능성 제시
◦
전문가 수준 이상의 성능 달성 및 인간 평가자 간의 상관관계 초과
◦
수업 수준 특징에 대한 높은 중요성 부여 및 단일 턴 주석 패러다임의 한계 지적
◦
교사 가치 부가 측정치와의 일치성을 통해 학생 학습 관련 특징 포착 확인
◦
AI 기반 교육 측정에 대한 확장 가능하고 신뢰할 수 있는 피드백 제공 가능성 제시
•
한계점:
◦
개별 항목 수준에서는 일반화가 아직 완전히 이루어지지 않음
