Optimizing In-Context Demonstrations for LLM-based Automated Grading

Created by

Haebom

저자

Yucheng Chu, Hang Li, Kaiqi Yang, Yasemin Copur-Gencturk, Kevin Haudek, Joseph Krajcik, Jiliang Tang

💡 개요

본 논문은 대규모 언어 모델(LLM)을 이용한 자동 채점의 신뢰성을 높이기 위해, 기존의 단순 유사도 기반 예제 선택 방식의 한계를 극복하고자 합니다. 제안된 GUIDE 프레임워크는 '경계 쌍' 예제를 식별하고, 점수별 차이를 명확히 설명하는 판별적 설명을 생성하여 채점 기준 준수도를 향상시킵니다. 이를 통해 물리학, 화학, 교육학 등 다양한 분야에서 기존 방식보다 뛰어난 성능을 보여주었으며, 특히 경계선 상에 있는 답변에 대해 강건한 성능을 보입니다.

🔑 시사점 및 한계

•

LLM 기반 자동 채점에서 예제 선택 및 설명 생성이 채점의 정확성과 신뢰성을 결정하는 핵심 요소임을 강조합니다.

•

GUIDED 프레임워크는 경계선 상의 어려운 사례에 대한 LLM의 채점 능력을 크게 향상시켜, 인간 전문가의 채점 기준과의 정렬을 더욱 가깝게 합니다.

•

설명 생성 과정이 여전히 수동으로 이루어질 경우 병목 현상이 발생할 수 있으며, GUIDE의 설명 생성 방식이 실제 교육 현장에서의 복잡하고 미묘한 채점 요소를 얼마나 완벽하게 포착할 수 있는지에 대한 추가적인 연구가 필요합니다.

PDF 보기

Made with Slashpage