Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems

Created by
  • Haebom

저자

Christopher Ormerod

개요

본 연구는 자동 에세이 채점(AES)의 정확도를 높이기 위해 채점 과정에 피드백 기반 주석을 통합하는 방법을 보여줍니다. PERSUADE 말뭉치를 사용하여, 철자 및 문법 오류를 식별하는 주석과 논증 구성 요소를 강조하는 주석이라는 두 가지 유형의 피드백 기반 주석을 통합했습니다. 실제 시나리오 적용 가능성을 보이기 위해, 철자 수정을 위한 생성형 언어 모델과 논증 요소를 식별하고 표시하도록 훈련된 인코더 기반 토큰 분류기를 사용했습니다. 주석을 채점 과정에 통합함으로써, 분류기로 미세 조정된 인코더 기반 대규모 언어 모델을 사용하여 성능 향상을 보였습니다.

시사점, 한계점

시사점: 피드백 기반 주석을 AES 파이프라인에 통합하면 AES의 정확도를 향상시킬 수 있음을 보여줍니다. LLM을 활용하여 효율적으로 주석을 생성할 수 있음을 시사합니다. 인코더 기반 LLM의 분류 성능 향상에 기여할 수 있습니다.
한계점: 사용된 말뭉치(PERSUADE)의 특성에 따라 일반화 가능성이 제한될 수 있습니다. 다양한 유형의 에세이와 언어에 대한 추가 연구가 필요합니다. LLM이 생성하는 주석의 품질에 따라 성능이 영향을 받을 수 있습니다. 주석 생성 및 통합 과정의 계산 비용이 상당할 수 있습니다.
👍