본 논문은 사전 훈련된 비디오 거대 언어 모델(Video LLMs)을 오디오, 3D 정보 등 추가 모달리티 또는 데이터 유형을 포함하는 새로운 작업에 적용하는 어려움을 해결하기 위해 PAVE 프레임워크를 제시합니다. PAVE는 기존 모델의 구조나 사전 훈련된 가중치를 변경하지 않고, 소량의 매개변수와 연산을 추가하는 경량 어댑터인 "패치"를 도입하여 다양한 하위 작업(오디오-비주얼 질문 응답, 3D 추론, 다중 뷰 비디오 인식, 고프레임 비디오 이해 등)에 대한 적응을 효과적으로 수행합니다. 실험 결과, PAVE는 기존 최첨단 모델을 능가하는 성능을 보이며, 추가적인 FLOPs와 매개변수 비용은 약 0.1%에 불과합니다. 또한, 다중 작업 학습을 지원하고 다양한 Video LLMs에 대해 일반화 성능이 우수합니다.
