본 논문은 기존의 자원 집약적인 파일럿 테스트에 의존하는 항목 반응 이론(IRT) 기반 교육 평가의 항목 검증 방식을 대체하기 위해, 텍스트 특징을 기반으로 시험 항목을 평가하는 항목 작성 결함(IWF) 기준표를 활용한 연구를 제시합니다. 7,126개의 다지선다형 문제(STEM 분야)를 대상으로 자동화된 IWF 기준표(19개 기준)를 적용하여 IRT 매개변수(난이도, 변별도)와의 관계를 분석했습니다. 분석 결과, IWF 수와 IRT 난이도 및 변별도 매개변수 간 유의미한 상관관계가 특히 생명/지구과학 및 물리과학 분야에서 발견되었으며, 특정 IWF 기준(부정적 어휘, 비현실적인 오답 등)이 항목 품질에 미치는 영향의 정도가 다름을 확인했습니다. 결론적으로, 자동화된 IWF 분석이 기존 검증 방식의 효율적인 보완책으로, 특히 낮은 난이도의 다지선다형 문제 선별에 유용함을 제시합니다.
