본 연구는 인간-로봇 협업(HRC)에서 효과적인 인간 활동 인식(HAR)을 위해 시각 기반 촉각 센서의 성능을 평가하고, 촉각 및 동작 데이터를 결합한 다중 모달 프레임워크를 제안합니다. 15가지 활동을 분류하는 실험에서 IMU 기반 데이터 장갑과 시각 기반 촉각 센서의 성능을 비교하고, 동작 기반 분류(MBC), 촉각 기반 분류(TBC), 그리고 다중 모달 분류(MMC) 세 가지 접근 방식을 평가했습니다. 오프라인 및 온라인 검증 결과, 다중 모달 접근 방식이 단일 모달 방식보다 우수한 성능을 보였으며, 촉각 및 동작 감지를 통합하여 HAR 시스템을 향상시킬 수 있는 가능성을 보여줍니다.
