Efficient and Robust Multidimensional Attention in Remote Physiological Sensing through Target Signal Constrained Factorization
Created by
- Haebom
Category
Empty
저자
Jitesh Joshi, Youngjun Cho
개요
카메라 기반 원격 생리 신호 감지 기술은 비침습적 생체 신호 모니터링에 혁신적인 잠재력을 제공합니다. 본 논문에서는 영상 데이터에서 생리 신호 추출을 위한 심층 학습 접근 방식의 도메인 변화에 대한 강건성을 평가하고, 이를 개선하기 위해 목표 신호 제약 인수 분해 모듈(TSFM)을 제안합니다. TSFM은 생리 신호 특징을 인수 분해 제약 조건으로 명시적으로 통합하는 다차원 어텐션 메커니즘입니다. 이를 기반으로, 본 논문은 다중 모드 RGB 및 열 영상 입력으로부터 맥파(rPPG)와 호흡(rRSP) 신호의 동시 다중 작업 추정을 위해 설계된 효율적인 이중 분기 3D-CNN 아키텍처인 MMRPhys를 제시합니다. 5개의 벤치마크 데이터셋에 대한 포괄적인 교차 데이터셋 평가를 통해, TSFM을 사용하는 MMRPhys가 rPPG 및 rRSP 추정에 대한 도메인 변화에 걸쳐 최첨단 방법보다 상당히 우수한 일반화 성능을 보이며, 실시간 응용 프로그램에 적합한 최소 추론 지연 시간을 유지함을 보여줍니다. MMRPhys 모델의 온디바이스 실시간 추론 기능을 갖춘 웹 브라우저 기반 애플리케이션은 https://physiologicailab.github.io/mmrphys-live 에서 이용 가능합니다.
시사점, 한계점
•
시사점:
◦
도메인 변화에 강건한 rPPG 및 rRSP 추정을 위한 새로운 벤치마크를 제시합니다.
◦
TSFM을 통해 더욱 정확한 특징 추출이 가능합니다.
◦
효율적인 이중 분기 3D-CNN 아키텍처 MMRPhys를 통해 실시간 응용이 가능합니다.
◦
다중 모드(RGB 및 열 영상) 입력을 사용하여 더욱 정확한 측정이 가능합니다.
◦
웹 브라우저 기반 애플리케이션을 통해 접근성을 높였습니다.
•
한계점:
◦
본 논문에서 제시된 방법의 한계점에 대한 구체적인 언급이 부족합니다.
◦
다양한 피부색이나 조명 조건에 대한 일반화 성능에 대한 추가적인 연구가 필요할 수 있습니다.
◦
특정 데이터셋에 과적합될 가능성에 대한 평가가 필요합니다.
◦
실제 임상 환경에서의 성능 평가가 부족합니다.
