Sign In

Addressing Selection Bias in Computerized Adaptive Testing: A User-Wise Aggregate Influence Function Approach

Created by
  • Haebom
Category
Empty

저자

Soonwoo Kwon, Sojung Kim, Seunghyun Lee, Jin-Young Kim, Suyeong An, Kyuseok Kim

개요

본 논문은 컴퓨터 적응형 검사(CAT)에서 아이템 프로파일을 효율적으로 학습하는 방법을 제시합니다. CAT는 응시자의 능력 수준에 따라 문제를 적응적으로 제시하는 검사 방식으로, 정확한 아이템 프로파일이 필수적입니다. 기존에는 많은 데이터를 수집하여 진단 모델을 학습하는 비용이 많이 들었지만, 본 논문에서는 CAT 서비스에서 수집된 응답 데이터를 활용하는 방법을 제안합니다. CAT의 특성상 선택 편향이 존재하여 기존 방법으로는 정확한 아이템 프로파일을 얻기 어렵다는 점을 지적하고, 사용자별 집계 영향 함수(user-wise aggregate influence function) 방법을 제안합니다. 이 방법은 응답 데이터의 편향을 줄여 아이템 프로파일의 정확도를 높이고, CAT의 성능을 향상시킵니다. 세 개의 공개 데이터셋과 하나의 실제 CAT 응답 데이터셋을 사용하여 제안된 방법의 우수성을 실험적으로 입증합니다.

시사점, 한계점

시사점:
CAT에서 선택 편향 문제를 해결하는 새로운 방법 제시
CAT 서비스 데이터를 효율적으로 활용하여 아이템 프로파일 학습 비용 절감
제안된 방법의 우수성을 실험적으로 검증
실제 CAT 응답 데이터를 활용한 실험 결과 제시
한계점:
제안된 방법의 일반화 성능에 대한 추가 연구 필요
다양한 CAT 유형 및 응답 데이터 특성에 대한 추가적인 실험 필요
사용자별 집계 영향 함수 방법의 계산 복잡도에 대한 분석 필요
👍