Este artículo destaca la importancia de desarrollar ítems de alta calidad en evaluaciones educativas basadas en la Teoría de Respuesta al Ítem (TRI) y propone un método eficiente de validación de ítems mediante el análisis de Defectos de Escritura de Ítems (DIR), reemplazando el método tradicional de preevaluación, que consume muchos recursos. Realizamos un análisis automatizado de DIR en 7126 ítems STEM de opción múltiple basados en 19 criterios y analizamos sus correlaciones con los índices de dificultad y discriminación de la TRI. Los resultados revelaron correlaciones significativas entre el número de DIR y los índices de dificultad y discriminación de la TRI, particularmente en ciencias de la vida/tierra y ciencias físicas. Además, encontramos que criterios específicos de la TRI (p. ej., uso de vocabulario negativo vs. opciones de respuesta incorrecta poco realistas) tuvieron efectos variables en la calidad y dificultad de los ítems. Estos hallazgos sugieren que el análisis automatizado de DIR puede complementar los métodos de validación existentes como un método eficiente de preselección de ítems, particularmente para seleccionar ítems de baja dificultad. Sin embargo, también destacamos las limitaciones de los criterios y algoritmos de evaluación específicos del dominio, así como la necesidad de más investigaciones que consideren las características específicas del dominio.
