본 논문은 공개적으로 이용 가능한 단답형 질문 채점 및 피드백 생성을 위한 데이터셋의 부족 문제를 해결하기 위해, 엔지니어링 분야 단답형 질문과 피드백 데이터셋인 EngSAF를 제시한다. EngSAF는 다양한 엔지니어링 분야의 5,800개 이상의 데이터 포인트를 포함하며, 최신 대규모 언어 모델(LLM)과 Label-Aware Synthetic Feedback Generation (LASFG) 전략을 활용하여 피드백을 생성한다. 본 논문에서는 데이터셋 주석 및 피드백 생성 과정을 설명하고, EngSAF 분석을 수행하며, 제로샷 및 파인튜닝 기반의 다양한 LLM 기준 모델을 제시한다. 실제 엔지니어링 학과 종강 시험에 시스템을 적용하여 효율성과 효과성을 입증하고, 최고 성능 모델(Mistral-7B)은 미지의 답변 및 미지의 질문 시험 세트에서 각각 75.4%와 58.7%의 정확도를 달성했다.
