(Almost) Free Modality Stitching of Foundation Models
Created by
Haebom
저자
Jaisidh Singh, Diganta Misra, Boris Knyazev, Antonio Orvieto
개요
본 논문은 다양한 사전 훈련된 단일 모드 모델들을 결합하여 다중 모드 모델을 구축하는 과정에서 발생하는 계산 비용 문제를 해결하기 위해 Hypernetwork Model Alignment (Hyma)를 제안합니다. 기존의 다중 모드 모델 구축 방법은 여러 단일 모드 모델을 연결하는 연결 모듈을 훈련하는데 많은 계산 비용이 소요됩니다. Hyma는 하이퍼네트워크를 활용하여 최적의 단일 모드 모델 조합을 선택하고 연결 모듈을 동시에 훈련함으로써 이러한 문제를 해결합니다. 하이퍼네트워크의 매개변수 예측 기능을 통해 N x M 개의 단일 모드 모델 조합에 대한 연결 모듈을 공동으로 훈련하여 최적의 모델 조합을 효율적으로 찾습니다.
시사점, 한계점
•
시사점:
◦
하이퍼네트워크를 이용하여 다중 모드 모델 구축 과정의 계산 비용을 획기적으로 줄일 수 있습니다. (최대 10배 감소)
◦
그리드 서치 방식과 비교하여 동등한 성능을 보이는 최적의 단일 모드 모델 조합을 효율적으로 찾을 수 있습니다.
◦
다양한 다중 모드 벤치마크에서 성능을 검증했습니다.
•
한계점:
◦
하이퍼네트워크의 성능이 최종 다중 모드 모델의 성능에 직접적으로 영향을 미치므로, 하이퍼네트워크의 설계 및 훈련에 대한 추가적인 연구가 필요할 수 있습니다.
◦
제시된 실험 결과가 모든 종류의 다중 모드 모델 및 데이터셋에 일반화될 수 있는지에 대한 추가적인 검증이 필요합니다.
◦
대규모 웹 기반 데이터셋에서의 성능 및 확장성에 대한 추가적인 연구가 필요할 수 있습니다.
