본 논문은 동료 심사에서 저자에게 건설적인 피드백을 제공하는 것이 핵심 요소임을 강조하며, 심사자의 시간 부족 문제를 해결하기 위해 자동화된 지원 시스템의 필요성을 제기합니다. 이를 위해 저자들은 심사 의견의 유용성을 결정짓는 네 가지 핵심 측면(실행 가능성, 근거 및 구체성, 검증 가능성, 유용성)을 제시합니다. 이러한 측면들을 평가하고 모델 개발을 가능하게 하기 위해, 1,430개의 사람이 수동으로 라벨링한 심사 의견과 1만 개의 합성적으로 라벨링된 심사 의견으로 구성된 RevUtil 데이터셋을 소개합니다. 합성 데이터는 각 측면 점수에 대한 설명인 근거(rationales)를 추가적으로 포함합니다. RevUtil 데이터셋을 사용하여, 상기 네 가지 측면에 대한 심사 의견을 평가하고 근거를 생성하는 미세 조정된 모델들의 성능을 벤치마킹합니다. 실험 결과, 미세 조정된 모델들은 GPT-4o와 같은 강력한 폐쇄형 모델과 비교하여, 심지어 일부 경우에는 능가하는 수준으로 사람과 유사한 수준의 합의를 달성함을 보여줍니다. 또한, 기계가 생성한 심사는 네 가지 측면에서 일반적으로 사람이 작성한 심사보다 성능이 떨어짐을 밝힙니다.
