Este artículo presenta un estudio que utiliza una rúbrica de Defectos de Escritura de Ítems (IWF), que evalúa los ítems de la prueba con base en características textuales, para reemplazar el enfoque tradicional de validación de ítems basado en pruebas piloto, que consume muchos recursos, para evaluaciones educativas basadas en la teoría de respuesta al ítem (TRI). Aplicamos una rúbrica IWF automatizada (19 criterios) a 7126 preguntas de opción múltiple (STEM) y analizamos su relación con los parámetros de la TRI (dificultad, discriminación). El análisis reveló correlaciones significativas entre el número de IWF y los parámetros de dificultad y discriminación de la TRI, particularmente en ciencias de la vida/tierra y ciencias físicas, y reveló que criterios específicos de IWF (p. ej., vocabulario negativo, respuestas incorrectas poco realistas) tuvieron diversos grados de impacto en la calidad del ítem. En conclusión, sugerimos que el análisis automatizado de IWF puede ser un complemento eficiente a los métodos de validación existentes, particularmente útil para el cribado de preguntas de opción múltiple de baja dificultad.
