본 논문은 대규모 언어 모델(LLM)을 활용한 자동 에세이 채점(AES) 분야, 특히 중국어 에세이 채점의 성능 향상을 위한 새로운 프레임워크인 Rank-Then-Score (RTS)를 제안합니다. RTS는 특징이 풍부한 데이터로 순위 모델(Ranker)을 미세 조정한 후, 순위 모델의 출력(후보 점수 집합)과 에세이 내용을 점수 모델(Scorer)에 입력하여 최종 점수를 생성하는 방식입니다. 영문 에세이 채점에 비해 연구가 미흡한 중국어 AES 분야에서 LLM의 잠재력을 탐구하고, 기존의 직접 프롬프팅 방식보다 우수한 성능을 보이는 것을 목표로 합니다. HSK와 ASAP 두 개의 벤치마크 데이터셋에서 실험을 진행하여 RTS가 모든 LLM과 데이터셋에서 평균 QWK(Quadratic Weighted Kappa) 측면에서 직접 프롬프팅 방식보다 우수한 성능을 보이며, 특히 HSK 데이터셋을 사용한 중국어 에세이 채점에서 최고의 성능을 달성함을 보여줍니다.
