본 논문은 AI 생성 텍스트의 질적 평가 및 향상에 초점을 맞추고 있다. AI가 생성하는 텍스트의 양이 급증함에 따라, 단순히 문법적 정확성과 일관성을 넘어서 '글쓰기 질' 자체를 평가하고 개선하는 것이 중요해졌다. 연구진은 다섯 개의 기존 데이터셋을 통합하여 4,729개의 글쓰기 질 판단으로 구성된 Writing Quality Benchmark (WQ)를 제시한다. 기존 최첨단 LLMs를 포함한 여러 기준 모델들은 WQ 평가에서 우수한 성능을 보이지 못했다. 이에 연구진은 다양한 크기의 Writing Quality Reward Models (WQRM)을 학습시켜 글쓰기 질 평가를 수행하고, 4개의 분포 외 검증 데이터셋에서 강력한 일반화 성능을 보이며 WQ 벤치마크에서 74%의 정확도를 달성했다. 추가적으로, 후보 텍스트들을 생성하고 순위를 매겨 더 높은 질의 결과물을 선택하는 방식으로 WQRM의 실용성을 입증했다. 9명의 전문 작가를 대상으로 한 인간 평가 결과, WQRM 기반 선택 방식이 전문가 선호도를 66% 향상시켰으며, 보상 차이가 1점 이상일 때는 72.2%까지 향상되었다. 마지막으로, 연구진은 데이터셋과 모델을 공개하여 글쓰기 질 평가 및 인간 선호도에 부합하는 AI 글쓰기 시스템 개발을 위한 연구를 장려하고 있다.
