본 논문은 레이블이나 작업 경계 없이 연속적인 작업 학습이 이루어지는 비지도 학습 환경에서의 비디오 학습에 대한 현실적인 시나리오를 제안합니다. 비디오 데이터의 복잡성과 풍부한 시공간 정보에도 불구하고, 비지도 연속 학습 분야에서 비디오 데이터는 충분히 연구되지 않았다는 점을 지적하며, 기존 연구들이 레이블과 작업 경계에 의존하는 지도 학습에만 집중했던 점을 문제 삼습니다. 따라서 본 논문은 비지도 비디오 연속 학습(uVCL)을 연구하고, 비디오 처리의 높은 계산 및 메모리 요구사항을 고려하여 uVCL을 위한 일반적인 벤치마크 실험 프로토콜을 제시합니다. 비지도 비디오 트랜스포머 네트워크로 추출된 심층 임베딩된 비디오 특징에 대한 커널 밀도 추정(KDE)을 비모수적 확률적 표현으로 사용하고, 새로운 작업 데이터에 대한 참신성 탐지 기준을 도입하여 메모리 클러스터의 동적 확장을 가능하게 하여 새로운 지식을 포착합니다. 이전 작업으로부터의 전이 학습을 활용하여 현재 학습 작업에 대한 지식 전이를 위한 초기 상태로 활용하며, 여러 작업을 연속적으로 학습할 때 제안된 방법론이 모델 성능을 크게 향상시킨다는 것을 발견했습니다. UCF101, HMDB51, Something-to-Something V2 세 가지 표준 비디오 액션 인식 데이터셋에서 레이블이나 클래스 경계 없이 심층적인 평가를 수행합니다.
