지능형 튜터링 시스템(ITS)은 과거 학생들의 정보를 활용하여 개인 맞춤형 교육을 제공할 수 있지만, 새로운 학생은 고유한 특성을 가집니다. 또한 학습 과정의 부분적인 관찰 가능성으로 인해 교육 문제는 본질적으로 어렵습니다. 따라서 학생-교사 간의 상호 작용(튜터링 세션, 강의, 시험 등)을 포함하는 동적 시계열 환경을 개발하여 교실 환경을 시뮬레이션합니다. 특히 더 많은 정보를 수집할 수 있는 다양한 수준의 프로빙(probing) 개입을 허용하도록 시뮬레이션 환경을 설계합니다. 그런 다음 프로빙 개입을 사용하여 학생의 개별 상태를 학습하는 동시에 모집단 정보를 활용하는 강화 학습(RL) ITS를 개발합니다. 이러한 개입은 학생 추정의 난이도를 줄일 수 있지만, 정확한 추정을 위해 충분히 프로빙하는 것과 학생에게 방해가 될 정도로 자주 프로빙하는 것 사이에서 균형을 찾는 비용-편익 결정이 필요합니다. 표준 RL 알고리즘과 여러 탐욕적 규칙 기반 휴리스틱 접근 방식의 효과를 비교하여 서로 다른 솔루션을 제공하지만 유사한 결과를 얻음을 발견했습니다. 또한 숨겨진 정보의 수준이 증가함에 따라 문제의 어려움을 강조하고, 프로빙 개입을 허용할 경우 얻을 수 있는 이점을 강조합니다. 학생 모집단 분포가 변화하는 상황에서 휴리스틱 및 RL 정책의 유연성을 보여주고, 두 정책 모두 유연하지만 RL 정책은 더 어려운 수업을 돕는 데 어려움을 겪는다는 것을 확인했습니다. 마지막으로 비 프로빙 정책을 사용하여 다양한 수업 구조를 테스트한 결과, 퀴즈 및 중간고사 구조의 성능을 기말고사 중심 구조보다 더 향상시킬 수 있다는 것을 발견하여 추가 정보의 이점을 강조했습니다.
