StreamBridge는 오프라인 비디오-LLM을 스트리밍 가능한 모델로 변환하는 간단하면서도 효과적인 프레임워크입니다. 기존 모델을 온라인 환경에 적용하는 데 있어 두 가지 기본적인 과제, 즉 (1) 실시간 다회차 이해에 대한 제한된 기능과 (2) 사전 대응 메커니즘의 부족을 해결합니다. StreamBridge는 (1) 라운드 감쇠 압축 전략과 결합된 메모리 버퍼를 통합하여 장문맥 다회차 상호작용을 지원하고, (2) 기존 비디오-LLM에 손쉽게 통합될 수 있는 분리된 경량 활성화 모델을 통해 지속적인 사전 대응을 가능하게 합니다. 또한 스트리밍 비디오 이해를 위해 설계된 대규모 데이터셋인 Stream-IT를 구축하여, 비디오-텍스트 시퀀스와 다양한 지시 형식을 특징으로 합니다. 광범위한 실험 결과, StreamBridge는 다양한 작업에서 오프라인 비디오-LLM의 스트리밍 이해 기능을 크게 향상시켜 GPT-4o 및 Gemini 1.5 Pro와 같은 독점 모델보다 뛰어난 성능을 보여줍니다. 동시에 표준 비디오 이해 벤치마크에서 경쟁력 있는 또는 우수한 성능을 달성합니다.
