Daily Arxiv

世界中で発行される人工知能関連の論文をまとめるページです。
このページはGoogle Geminiを活用して要約し、非営利で運営しています。
論文の著作権は著者および関連機関にあり、共有する際は出典を明記してください。

Dynamic Uncertainty-aware Multimodal Fusion for Outdoor Health Monitoring

Created by
  • Haebom

作者

Zihan Fang, Zheng Lin, Senkang Hu, Yihang Tao, Yiqin Deng, Xianhao Chen, Yuguang Fang

概要

本稿では、屋外環境での健康監視のための不確実性を考慮したマルチモード融合フレームワークであるDUAL-Healthを提案します。従来の静的マルチモードディープラーニングフレームワークは、膨大なデータ学習を必要とし、微妙な健康状態の変化を捉えることができないという制限があります。一方、マルチモードマクロ言語モデル(MLLM)は、少量のデータで事前に訓練された情報豊富なモデルを微調整し、強力な健康状態モニタリングを可能にします。しかし、MLLMベースの屋外健康モニタリングは、センサーデータのノイズ、堅牢なマルチモード融合の難しさ、さまざまなノイズレベルを持つモードによる欠落データの回復の難しさなどの課題に直面しています。 DUAL-Healthは、センサデータのノイズの影響を定量化し、不確実性ベースの重みを使用して効率的なマルチモード融合を実行し、共通の意味空間内でモード分布を整列することによってこれらの課題を解決します。実験の結果、DUAL-Healthは従来の方法より高い精度と堅牢性を示した。

Takeaways、Limitations

Takeaways:
野外環境のノイズの多いマルチモーダルデータを活用した健康モニタリングの新しいアプローチを提示
不確実性を考慮したマルチモード融合により、従来の方法より向上した精度とロバスト性を実現
MLLMを活用して少量のデータで効果的な健康モニタリングの可能性を提示
Limitations:
提案モデルの一般化性能の追加検証が必要
さまざまな種類のセンサーデータと環境条件のためのロバストニスの追加実験が必要
実環境での長期試験と臨床実験による検証が必要
👍