Este documento tiene como objetivo desarrollar un sistema automatizado para proporcionar a los autores retroalimentación útil durante la revisión por pares. Para abordar las limitaciones de tiempo de los revisores, proponemos cuatro dimensiones clave que mejoran la utilidad de las revisiones: procesabilidad, evidencia y especificidad, verificabilidad y usabilidad. Para evaluar estas dimensiones y facilitar el desarrollo del modelo, presentamos el conjunto de datos RevUtil, que contiene 1430 comentarios de revisión etiquetados por humanos y 10 000 datos etiquetados sintéticamente. Los datos sintéticos también incluyen justificaciones, que explican las puntuaciones de cada dimensión. Utilizando el conjunto de datos RevUtil, comparamos modelos ajustados que evalúan estas dimensiones y generan justificaciones. Los resultados experimentales muestran que los modelos ajustados logran un acuerdo con los humanos, comparable a, o en algunos casos superando, a potentes modelos de forma cerrada como GPT-4o. Sin embargo, las revisiones generadas por máquinas generalmente tienen un peor rendimiento que los revisores humanos en las cuatro dimensiones.
