본 논문은 피어 리뷰에서 저자에게 유용한 피드백을 제공하기 위한 자동화 시스템 개발을 목표로 합니다. 리뷰어의 시간 부족 문제를 해결하기 위해, 리뷰의 유용성을 높이는 네 가지 핵심 측면(실행 가능성, 근거 및 구체성, 검증 가능성, 유용성)을 제시합니다. 이러한 측면들을 평가하고 모델 개발을 가능하게 하기 위해, 1,430개의 인간이 레이블링한 리뷰 코멘트와 1만 개의 합성 레이블 데이터를 포함하는 RevUtil 데이터셋을 소개합니다. 합성 데이터는 각 측면 점수에 대한 설명인 근거(rationales)도 포함합니다. RevUtil 데이터셋을 사용하여, 해당 측면들을 평가하고 근거를 생성하는 미세 조정된 모델들을 벤치마킹합니다. 실험 결과, 미세 조정된 모델들은 GPT-4o와 같은 강력한 폐쇄형 모델과 비슷하거나, 어떤 경우에는 능가하는 수준의 인간과의 일치율을 달성합니다. 하지만 기계가 생성한 리뷰는 네 가지 측면에서 일반적으로 인간의 리뷰보다 성능이 떨어짐을 보여줍니다.
