Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

The Impact of Item-Writing Flaws on Difficulty and Discrimination in Item Response Theory

Created by
  • Haebom

作者

Robin Schmucker, Steven Moore

概要

本論文は、既存のリソース集約型パイロットテストに依存する項目応答理論(IRT)ベースのトレーニング評価の項目検証方式を置き換えるために、テキスト特徴に基づいて試験項目を評価する項目作成欠陥(IWF)基準表を活用した研究を提示します。 7,126個の多指線多型問題(STEM分野)を対象に自動化されたIWF基準表(19個基準)を適用し、IRTパラメータ(難易度、弁別度)との関係を分析しました。分析の結果、IWFの数とIRTの難易度と区別のパラメータとの間の有意な相関関係が特に生命/地球科学および物理科学の分野で発見され、特定のIWF基準(否定的な語彙、非現実的な誤答など)が項目品質に与える影響の程度が異なることを確認しました。結論として、自動化されたIWF分析は、既存の検証方法の効率的な補完策であり、特に低難易度の多地形多型問題のスクリーニングに役立ちます。

Takeaways、Limitations

Takeaways:
自動化されたIWF分析により、既存のリソース集約型IRT項目検証方式を効率的に補完することができます。
IWF分析により、低難易度多脂腺多型問題を効果的に識別可能。
特定のIWF基準が項目の難易度と区別に及ぼす影響を分析することで,項目開発の改善に利用できる
Limitations:
本研究はSTEM分野に限定されており、他の分野への一般化の可能性に関するさらなる研究が必要である。
ドメイン一般的な評価基準とアルゴリズムの改善のためのさらなる研究が必要です。
ドメイン固有の内容を理解するアルゴリズムの開発が必要です。
👍