本論文は、既存のリソース集約型パイロットテストに依存する項目応答理論(IRT)ベースのトレーニング評価の項目検証方式を置き換えるために、テキスト特徴に基づいて試験項目を評価する項目作成欠陥(IWF)基準表を活用した研究を提示します。 7,126個の多指線多型問題(STEM分野)を対象に自動化されたIWF基準表(19個基準)を適用し、IRTパラメータ(難易度、弁別度)との関係を分析しました。分析の結果、IWFの数とIRTの難易度と区別のパラメータとの間の有意な相関関係が特に生命/地球科学および物理科学の分野で発見され、特定のIWF基準(否定的な語彙、非現実的な誤答など)が項目品質に与える影響の程度が異なることを確認しました。結論として、自動化されたIWF分析は、既存の検証方法の効率的な補完策であり、特に低難易度の多地形多型問題のスクリーニングに役立ちます。