본 논문은 기존의 다중 모달 검색 방법들이 시각-텍스트 정렬을 위한 사전 훈련 전략을 활용하여 텍스트 기반 검색기에 다중 모달 기능을 부여하지만, 텍스트 중심적인 문제로 인해 중요한 시각 정보를 간과하는 문제점을 지적합니다. 이를 해결하기 위해, 텍스트 특징을 정렬 과정에서 융합하지 않고 모달 상호 작용을 달성하는 새로운 검색 프레임워크 MIRe를 제안합니다. MIRe는 텍스트 기반 신호를 시각적 표현에 다시 입력하지 않고 텍스트 질의가 시각적 임베딩에 집중할 수 있도록 합니다. 또한, 간결한 질문-답변 쌍을 확장된 구절로 변환하여 다중 모달 질의 검색을 위한 사전 훈련 데이터셋을 구축합니다. 실험 결과, 제안된 사전 훈련 전략은 다중 모달 질의에 대한 이해를 크게 향상시켜 제로샷 설정에서 네 가지 다중 모달 검색 벤치마크에서 강력한 성능을 달성함을 보여줍니다. 추가적으로, ablation study 및 분석을 통해 텍스트 중심 문제를 완화하는 프레임워크의 효과를 명확하게 검증합니다. 코드는 공개적으로 제공됩니다.
