본 논문은 다양한 사전 학습된 단일 모드 모델들을 연결하여 다중 모드 모델을 구축하는 기존 방식의 한계를 지적하며, 이를 해결하기 위한 새로운 방법인 Hypernetwork Model Alignment (Hyma)를 제안합니다. 기존 방식은 단일 모드 모델 선택 및 연결 모듈 훈련에 많은 계산 비용이 소요되는 반면, Hyma는 하이퍼네트워크를 활용하여 최적의 단일 모드 모델 조합과 연결 모듈을 동시에 학습함으로써 효율성을 높입니다. Hyma는 N x M 개의 단일 모드 모델 조합에 대한 연결 모듈을 공동으로 학습하여 최적의 모델 조합 탐색 비용을 획기적으로 줄입니다.
