Bài báo này nhằm mục đích phát triển một hệ thống tự động để cung cấp cho tác giả phản hồi hữu ích trong quá trình bình duyệt ngang hàng. Để giải quyết các hạn chế về thời gian của người bình duyệt, chúng tôi đề xuất bốn chiều chính giúp tăng cường tính hữu ích của các bài bình duyệt: khả năng hành động, bằng chứng và tính cụ thể, khả năng xác minh và khả năng sử dụng. Để đánh giá các chiều này và tạo điều kiện thuận lợi cho việc phát triển mô hình, chúng tôi giới thiệu bộ dữ liệu RevUtil, bao gồm 1.430 nhận xét bình duyệt do con người gắn nhãn và 10.000 dữ liệu được gắn nhãn tổng hợp. Dữ liệu tổng hợp cũng bao gồm các cơ sở lý luận, giải thích điểm số của từng chiều. Sử dụng bộ dữ liệu RevUtil, chúng tôi đánh giá chuẩn các mô hình được tinh chỉnh để đánh giá các chiều này và tạo ra các cơ sở lý luận. Kết quả thử nghiệm cho thấy các mô hình được tinh chỉnh đạt được sự đồng thuận với con người, tương đương hoặc trong một số trường hợp vượt trội hơn các mô hình dạng đóng mạnh mẽ như GPT-4o. Tuy nhiên, các bài bình duyệt do máy tạo ra thường có hiệu suất kém hơn so với người bình duyệt trên cả bốn chiều.
