본 논문은 야외 환경에서의 건강 모니터링을 위해 불확실성을 고려한 다중 모드 융합 프레임워크인 DUAL-Health를 제안합니다. 기존의 정적 다중 모드 심층 학습 프레임워크는 방대한 데이터 학습이 필요하고 미묘한 건강 상태 변화를 포착하지 못하는 한계가 있습니다. 반면, 다중 모드 거대 언어 모델(MLLM)은 소량의 데이터로 사전 훈련된 정보가 풍부한 모델을 미세 조정하여 강력한 건강 상태 모니터링을 가능하게 합니다. 그러나 MLLM 기반 야외 건강 모니터링은 센서 데이터의 노이즈, 견고한 다중 모드 융합의 어려움, 다양한 노이즈 수준을 가진 모드로 인한 누락 데이터 복구의 어려움 등의 과제에 직면합니다. DUAL-Health는 센서 데이터의 노이즈 영향을 정량화하고, 불확실성 기반 가중치를 사용하여 효율적인 다중 모드 융합을 수행하며, 공통 의미 공간 내에서 모드 분포를 정렬하여 이러한 과제를 해결합니다. 실험 결과, DUAL-Health는 기존 방법보다 높은 정확도와 견고성을 보였습니다.
