본 논문은 몸체 전도 마이크 신호(BMS)와 음향 마이크 신호(AMS)를 결합하는 다중 모달 프레임워크를 제안합니다. BMS는 잡음에 강하지만 고주파 정보 손실이라는 단점이 있고, AMS는 고주파 정보는 풍부하지만 잡음에 취약합니다. 본 연구는 BMS를 향상시키는 매핑 기반 모델과 AMS의 잡음을 제거하는 마스킹 기반 모델 두 가지 네트워크를 사용하여 이러한 단점을 보완합니다. 두 모델은 국부적인 잡음 조건에 적응하는 동적 융합 메커니즘을 통해 통합되어 각 모달리티의 강점을 최적으로 활용합니다. TAPS 데이터셋에 DNS-2023 잡음 클립을 추가하여 객관적인 음성 품질 지표를 사용한 평가를 수행한 결과, 다양한 잡음 환경에서 단일 모달 방식보다 우수한 성능을 보였습니다.
