Bài báo này đề xuất DUAL-Health, một khuôn khổ hợp nhất đa phương thức xem xét sự không chắc chắn để theo dõi sức khỏe trong môi trường ngoài trời. Các khuôn khổ học sâu đa phương thức tĩnh hiện có yêu cầu dữ liệu đào tạo rộng rãi và có những hạn chế trong việc nắm bắt những thay đổi nhỏ về tình trạng sức khỏe. Ngược lại, các mô hình ngôn ngữ khổng lồ đa phương thức (MLLM) cho phép theo dõi sức khỏe mạnh mẽ bằng cách tinh chỉnh các mô hình giàu thông tin được đào tạo trước trên một lượng nhỏ dữ liệu. Tuy nhiên, việc theo dõi sức khỏe ngoài trời dựa trên MLLM phải đối mặt với những thách thức như nhiễu trong dữ liệu cảm biến, khó khăn trong việc hợp nhất đa phương thức mạnh mẽ và khó khăn trong việc khôi phục dữ liệu bị thiếu do các chế độ có mức độ nhiễu khác nhau. DUAL-Health giải quyết những thách thức này bằng cách định lượng tác động của nhiễu trong dữ liệu cảm biến, thực hiện hợp nhất đa phương thức hiệu quả bằng cách sử dụng trọng số dựa trên sự không chắc chắn và căn chỉnh các phân phối mô hình trong một không gian ngữ nghĩa chung. Kết quả thử nghiệm chứng minh rằng DUAL-Health thể hiện độ chính xác và độ mạnh mẽ cao hơn so với các phương pháp hiện có.
