Sign In

RTFusion: A depth estimation network based on multimodal fusion in challenging scenarios

Created by
  • Haebom
Category
Empty

저자

Zelin Meng, Takanori Fukao

개요

본 논문은 RGB와 열화상(THR) 데이터의 상호 보완적인 강점을 통합하여 심도 추정 정확도와 강건성을 향상시키는 새로운 다중 모드 심도 추정 모델인 RTFusion을 제안합니다. RGB 모드는 풍부한 질감과 색상 정보를 제공하고, THR 모드는 극한 조명 조건에서도 안정성을 보장하는 열 패턴을 포착합니다. RTFusion은 상호 보완적 주의(MCA) 모듈과 에지 세부 정보 보존을 향상시키는 에지 두드러짐 향상 모듈(ESEM)로 구성된 독창적인 융합 메커니즘인 EGFusion을 통합합니다. MS2 및 ViViD++ 데이터셋에 대한 종합적인 실험 결과, 제안된 모델은 야간, 강우, 강한 눈부심 조건을 포함한 다양한 어려운 환경에서 일관되게 고품질 심도 맵을 생성하는 것을 보여줍니다. 자율 주행, 로봇 공학, 증강 현실과 같이 신뢰할 수 있는 심도 추정이 필요한 응용 분야에서 제안된 방법의 잠재력을 강조합니다.

시사점, 한계점

시사점:
RGB와 THR 데이터의 융합을 통해 다양한 환경에서 심도 추정의 정확도와 강건성을 향상시킬 수 있음을 보여줍니다.
제안된 EGFusion 메커니즘은 상호 보완적 주의와 에지 세부 정보 향상을 통해 고품질 심도 맵 생성에 효과적임을 입증합니다.
자율 주행, 로봇 공학, 증강 현실 등 다양한 분야에 적용 가능성을 제시합니다.
한계점:
제안된 모델의 성능 평가는 특정 데이터셋(MS2, ViViD++)에 국한되어 일반화 가능성에 대한 추가 연구가 필요합니다.
실제 환경에서의 다양한 복잡한 상황에 대한 로버스트니스에 대한 추가적인 검증이 필요합니다.
계산 비용 및 실시간 처리 가능성에 대한 분석이 부족합니다.
👍