본 논문은 기존 RGB 카메라 기반의 휴먼 액티비티 인식(HAR)의 한계를 극복하기 위해, 이벤트 카메라를 활용한 다중 모달 HAR 시스템을 제안한다. RGB 카메라의 조명 부족 및 빠른 움직임에 대한 취약성을 이벤트 카메라의 장점으로 보완하고자, 대규모 다중 모달 RGB-이벤트 HAR 벤치마크 데이터셋 HARDVS 2.0을 제시한다. HARDVS 2.0은 300가지의 일상 행동을 포함하는 107,646개의 비디오 페어로 구성되어 다양한 어려운 시나리오를 다룬다. 또한, 물리 기반 열 전도 모델에서 영감을 받은 새로운 다중 모달 열 전도 연산 프레임워크 MMHCO-HAR을 제안한다. MMHCO-HAR은 RGB와 이벤트 특징을 융합하는 다중 모달 열 전도 연산 레이어를 핵심으로 하며, 적응적 융합 모듈을 통해 고성능 분류를 달성한다. 실험 결과, 제안된 방법이 효과적이고 견고함을 보여준다. 소스 코드와 벤치마크 데이터셋은 공개될 예정이다.
