본 논문은 다중 모달 추론 접근 방식의 유연성 및 효율성 제한을 해결하기 위해 새로운 모듈형 다중 모달 융합 프레임워크인 CREMA를 제안합니다. CREMA는 추가적인 인간 주석 없이 다양한 모달리티(광학 흐름, 3D 점 구름, 오디오, 열 지도, 터치 맵 등)를 활용하고, 각 모달리티에 연결된 매개변수 효율적인 모듈을 갖춘 쿼리 변환기를 사용하여 다양한 데이터 유형을 통합합니다. 또한, 경량 융합 모듈과 모달리티 순차적 학습 전략을 통해 정보를 압축하고 계산 효율성을 유지하면서 성능을 향상시키는 점진적 다중 모달 융합 설계를 제시합니다. 7가지 비디오-언어 추론 작업에 대한 실험 결과, OneLLM, BLIP-2, SeViLA 등 강력한 다중 모달 LLM과 비교하여 동등하거나 더 나은 성능을 달성하면서 학습 가능한 매개변수를 90% 이상 감소시켰음을 보여줍니다.
