본 논문은 비디오 이상 탐지(VAD)를 위해 사전 훈련된 시각-언어 모델(VLMs)을 활용하는 새로운 패러다임을 제시합니다. 기존 연구는 VAD에 필요한 복잡한 추론을 위해 사전 훈련된 VLMs의 능력을 초과한다고 가정하여 추론 중 특수 추론 모듈을 통합하거나 추가 훈련을 통해 VLMs를 VAD에 적응시키는 지시 조정 데이터셋에 의존했습니다. 이러한 전략은 상당한 계산 비용이나 데이터 주석 오버헤드를 초래합니다. 본 논문에서는 모델 매개변수 수정 없이 VLMs가 VAD를 수행할 수 있도록 하는 Verbalized Learning Framework, VERA를 제시합니다. VERA는 VAD에 필요한 복잡한 추론을 더 단순하고 집중된 안내 질문으로 자동 분해하여 이러한 질문들을 학습 가능한 매개변수로 취급하고, 거칠게 라벨링된 훈련 데이터를 사용하여 학습자와 최적화자 VLMs 간의 데이터 기반 언어적 상호 작용을 통해 이들을 최적화합니다. 추론 중에 VERA는 학습된 질문을 모델 프롬프트에 포함하여 VLMs가 세그먼트 수준의 이상 점수를 생성하도록 안내하고, 이는 장면 및 시간적 맥락의 융합을 통해 프레임 수준의 점수로 정제됩니다. 실험 결과는 VERA의 학습된 질문이 매우 적응력이 뛰어나 VAD에 대한 VLMs의 탐지 성능과 설명 가능성을 모두 크게 향상시킨다는 것을 보여줍니다.
