Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Automated Essay Scoring Incorporating Annotations from Automated Feedback Systems

Created by
  • Haebom

저자

Christopher Ormerod

개요

본 연구는 자동 에세이 채점(AES)의 정확도를 높이기 위해 채점 과정에 피드백 기반 주석을 통합하는 방법을 보여줍니다. PERSUADE 말뭉치를 사용하여, 철자 및 문법 오류를 식별하는 주석과 논증 구성 요소를 강조하는 주석의 두 가지 유형의 피드백 기반 주석을 통합했습니다. 실제 시나리오에 적용 가능성을 보이기 위해, 철자 검사를 위한 생성형 언어 모델과 논증 요소를 식별하고 표시하도록 훈련된 인코더 기반 토큰 분류기를 사용했습니다. 주석을 채점 과정에 통합함으로써, 분류기로 미세 조정된 인코더 기반 대규모 언어 모델을 사용하여 성능 향상을 보였습니다.

시사점, 한계점

시사점: 피드백 기반 주석을 AES 파이프라인에 통합하면 AES의 정확도를 향상시킬 수 있음을 보여줍니다. LLM을 활용하여 효율적으로 주석을 생성할 수 있음을 시사합니다. 인코더 기반 LLM의 성능 향상에 기여합니다.
한계점: 사용된 말뭉치(PERSUADE)의 특징에 따라 일반화 성능이 제한될 수 있습니다. 다양한 유형의 에세이와 언어에 대한 추가 연구가 필요합니다. 사용된 LLM의 성능에 의존적이며, LLM의 한계가 결과에 영향을 미칠 수 있습니다. 주석의 질에 따라 성능이 크게 달라질 수 있습니다.
👍