본 논문은 다중 모달 관계 추출(MRE)을 위한 새로운 통합 프레임워크인 REMOTE를 제안합니다. REMOTE는 다층 최적 전달(multilevel optimal transport)과 전문가 혼합(mixture-of-experts)을 활용하여 텍스트 엔티티와 시각적 객체 간의 모달 내 및 모달 간 관계를 동시에 추출합니다. 기존 방법들의 한계점인 단일 관계 추출 및 계산 중복을 극복하고, 전문가 혼합 메커니즘을 통해 다양한 관계 삼중항에 대한 최적의 상호 작용 특징을 동적으로 선택합니다. 또한, 다층 최적 전달 융합 모듈을 도입하여 저수준 정보 손실 없이 다층 인코딩의 장점을 유지하며, 더욱 표현력 있는 표현을 생성합니다. UMRE라는 새로운 데이터셋을 구축하여 REMOTE의 효과성을 평가하였으며, 기존 MRE 데이터셋에서 최첨단 성능을 달성했습니다. 소스 코드는 깃허브에 공개되었습니다.
