본 논문은 뇌졸중 재활 상지 기능 평가 도구인 ARAT(Action Research Arm Test)의 자동 채점 시스템을 제안합니다. OpenPose를 이용하여 다각도(대측, 동측, 상단) 비디오 데이터에서 얻은 관절 위치 및 객체 위치 정보를 SlowFast, I3D, Transformer 기반 모델에 통합하여 분석합니다. 초기 및 후기 융합 전략을 통해 다양한 관점과 모델의 특징을 결합하고, 계층적 베이지안 모델(Hierarchical Bayesian Models, HBMs)을 사용하여 움직임의 질적 요소를 추론하여 해석력을 높입니다. 임상의 대시보드를 통해 과제 점수, 수행 시간, 품질 평가를 제공하며, 5명의 임상의가 500개의 비디오 평가에 대한 피드백을 제공하여 시스템의 정확성과 사용성을 평가했습니다. 후기 융합을 통해 89.0%의 검증 정확도를 달성했으며, HBM은 수동 평가와 잘 일치했습니다. 이 연구는 확장 가능하고 해석 가능하며 임상적으로 검증된 자동화된 재활 시스템을 제공하여 재활 분야의 발전에 기여합니다.
