본 논문은 대규모 언어 모델(LLM)을 이용한 제로샷 자동 에세이 채점(AES)의 한계점을 해결하기 위해, 에세이를 쌍으로 비교하는 LLM 기반 비교 에세이 채점(LCES) 방법을 제안한다. 기존의 제로샷 접근 방식이 LLM을 사용하여 직접 절대 점수를 생성하는 것과 달리, LCES는 두 에세이 중 어느 것이 더 나은지 LLM이 판단하게 하고, 이러한 비교 결과를 연속적인 점수로 변환한다. 비교 횟수가 에세이 수의 제곱에 비례하여 증가하는 문제를 해결하기 위해 RankNet을 사용하여 효율성을 높였다. 실험 결과, LCES는 기존 제로샷 방법보다 정확도가 높으면서도 계산 효율성을 유지하는 것으로 나타났으며, 다양한 LLM 백본에서도 견고한 성능을 보였다.
