본 논문은 장시간 비디오 처리의 높은 계산 비용 문제를 해결하기 위해 차별적 증류(differential distillation)라는 새로운 접근 방식을 제시합니다. 기존의 토큰 자르기 및 특징 병합 방법들이 시간적 의존성을 희생하거나 의미 정보를 희석하는 문제점을 극복하고자, 과업 관련 정보는 보존하고 중복 정보는 제거하는 원칙에 기반한 ViLaMP 모델을 개발했습니다. ViLaMP는 프레임 단계의 차별적 키프레임 선택과 패치 단계의 차별적 특징 병합이라는 두 가지 주요 메커니즘을 통해 혼합 정밀도(mixed precision)로 시간이 긴 비디오를 처리합니다. 키프레임에는 완전한 정보를 유지하고, 비키프레임은 가장 중요한 특징만으로 축소하여 혼합 정밀도 학습과 유사한 효과를 냅니다. 실험 결과, ViLaMP는 특히 장시간 콘텐츠에서 네 가지 비디오 이해 벤치마크에서 우수한 성능을 보였으며, 단일 NVIDIA A100 GPU에서 최대 10,000 프레임의 초장시간 비디오를 처리할 수 있음을 보여줍니다.
