Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

The Impact of Item-Writing Flaws on Difficulty and Discrimination in Item Response Theory

Created by
  • Haebom
Category
Empty

저자

Robin Schmucker, Steven Moore

개요

본 논문은 7,000개 이상의 다지선다형 과학기술공학수학(STEM) 과목 문제를 대상으로, 문항작성오류(IWF) 기준과 항목반응이론(IRT) 매개변수 간의 관계를 분석한 연구입니다. 자동화된 접근 방식을 사용하여 19개 기준의 IWF 척도로 각 문제에 주석을 달고, IWF 수와 IRT 난이도 및 변별도 매개변수 간의 통계적으로 유의미한 연관성을 밝혔습니다. 특히 생명과학 및 물리과학 분야에서 이러한 연관성이 더욱 두드러졌으며, 특정 IWF 기준이 항목 품질에 미치는 영향의 정도가 다름을 확인했습니다 (예: 부정적 어휘 사용 vs. 비현실적인 오답 선지). 결론적으로 IWF는 특히 낮은 난이도의 문제 선별에 유용하지만, 기존의 데이터 기반 검증 방법을 대체할 수는 없다는 점을 강조하고 있습니다. 향후 도메인 일반적 평가 척도 및 도메인 특정 콘텐츠를 이해하는 알고리즘에 대한 연구 필요성을 제시합니다.

시사점, 한계점

시사점:
IWF 척도를 이용하여 IRT 매개변수(난이도, 변별도)를 예측할 수 있음을 보여줌.
특히 낮은 난이도의 다지선다형 문제 선별에 IWF가 유용함을 제시.
특정 IWF 기준이 항목 품질에 미치는 영향의 정도를 분석하여 IWF 척도 개선에 대한 방향 제시.
도메인 특정 콘텐츠를 고려한 향후 연구의 필요성을 강조.
한계점:
IWF는 기존의 데이터 기반 검증 방법을 완전히 대체할 수 없음.
도메인 일반적 평가 척도의 한계를 보여줌. 도메인 특정 콘텐츠 고려의 중요성을 시사.
분석에 사용된 IWF 척도의 일반화 가능성에 대한 추가 연구 필요.
👍