본 논문은 장시간 비디오에 대한 추론을 확장하기 위해 강화 학습을 활용하는 풀스택 프레임워크를 제시합니다. 이를 위해 세 가지 핵심 구성 요소를 통합합니다. 첫째, 다양한 영역(스포츠, 게임, 브이로그 등)에서 고품질 추론 주석이 포함된 104,000개의 장시간 비디오 QA 쌍으로 구성된 대규모 데이터셋 LongVideo-Reason입니다. 둘째, 사고 연쇄 지도 학습(CoT-SFT)과 강화 학습(RL)을 통해 VLM을 확장하는 2단계 학습 파이프라인입니다. 셋째, 시퀀스 병렬 처리와 장시간 비디오에 맞춤화된 vLLM 기반 엔진을 통합하여 효율적인 전개와 사전 채우기를 위한 캐시된 비디오 임베딩을 사용하는 장시간 비디오 RL을 위한 학습 인프라 MR-SP입니다. 실험 결과, LongVILA-R1-7B는 비디오 벤치마크에서 강력한 성능을 달성하여 VideoMME에서 자막 없이 65.0%, 자막이 있을 때 70.7%의 정확도를 기록했으며, 여러 벤치마크에서 LongVILA-R1을 일관되게 능가했습니다. 또한 입력 비디오 프레임 수가 증가함에 따라 LongVILA-R1의 성능이 꾸준히 향상되었습니다. MR-SP 시스템은 장시간 비디오 RL 학습 속도를 최대 2.1배 향상시켰습니다. 마지막으로, 다양한 모달리티(비디오, 텍스트, 오디오), 다양한 모델(VILA 및 Qwen 시리즈), 심지어 이미지 및 비디오 생성 모델까지 지원하는 RL 학습을 위한 교육 시스템을 공개합니다. 단일 A100 노드(8개의 GPU)에서 최대 1시간 길이의 비디오(예: 3,600 프레임/약 256,000 토큰)에 대한 RL 학습을 지원합니다.
