Efficient and Robust Multidimensional Attention in Remote Physiological Sensing through Target Signal Constrained Factorization
Created by
Haebom
저자
Jitesh Joshi, Youngjun Cho
개요
카메라 기반 원격 생리 신호 감지 기술은 비침습적 생체 신호 모니터링에 혁신적인 잠재력을 제공합니다. 본 논문에서는 영상 데이터에서 생리 신호 추출을 위한 심층 학습 접근 방식의 도메인 변화에 대한 강건성을 평가하고, 이를 개선하기 위해 목표 신호 제약 인수 분해 모듈(TSFM)을 제안합니다. TSFM은 생리 신호 특징을 인수 분해 제약 조건으로 명시적으로 통합하는 다차원 어텐션 메커니즘입니다. 이를 기반으로, 본 논문은 다중 모드 RGB 및 열 영상 입력으로부터 맥파(rPPG)와 호흡(rRSP) 신호의 동시 다중 작업 추정을 위해 설계된 효율적인 이중 분기 3D-CNN 아키텍처인 MMRPhys를 제시합니다. 5개의 벤치마크 데이터셋에 대한 포괄적인 교차 데이터셋 평가를 통해, TSFM을 사용하는 MMRPhys가 rPPG 및 rRSP 추정에 대한 도메인 변화에 걸쳐 최첨단 방법보다 상당히 우수한 일반화 성능을 보이며, 실시간 응용 프로그램에 적합한 최소 추론 지연 시간을 유지함을 보여줍니다. MMRPhys 모델의 온디바이스 실시간 추론 기능을 갖춘 웹 브라우저 기반 애플리케이션은 https://physiologicailab.github.io/mmrphys-live 에서 이용 가능합니다.