Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Automated Analysis of Learning Outcomes and Exam Questions Based on Bloom's Taxonomy

Created by
  • Haebom
Category
Empty

저자

Ramya Kumar, Dhruv Gulwani, Sonit Singh

개요

본 논문은 Bloom의 분류학에 따라 시험 문제 및 학습 성과를 자동 분류하는 연구를 수행했다. 600개의 문장으로 구성된 소규모 데이터셋을 사용하여 전통적인 머신 러닝 모델, 순환 신경망 아키텍처, 트랜스포머 기반 모델 및 대규모 언어 모델(LLM)을 평가했다. 각 모델은 다양한 전처리 및 데이터 증강 전략 하에서 평가되었으며, SVM과 데이터 증강을 결합한 모델이 가장 우수한 성능을 보였다. LLM의 제로샷 평가에서는 OpenAI와 Gemini가 가장 높은 정확도를 달성했다.

시사점, 한계점

시사점:
소규모 데이터셋에서는 데이터 증강과 같은 전략을 통해 SVM과 같은 단순한 알고리즘이 효과적일 수 있다.
LLM은 제로샷 설정에서도 유망한 결과를 보여주었다.
한계점:
RNN 모델 및 BERT는 과적합 문제를 겪었다.
RoBERTa는 초기에는 과적합을 극복했지만 훈련이 진행되면서 다시 징후를 보였다.
복잡한 딥러닝 모델은 제한된 데이터로 훈련하기 어려움이 있다.
👍