본 논문은 RGB 영상 정보만을 사용하는 기존의 약지도 학습 기반 비정상 영상 감지(VAD) 방법의 한계를 극복하기 위해 다중 모달 정보를 활용한 새로운 프레임워크인 PI-VAD를 제안합니다. PI-VAD는 RGB 정보 외에 자세(Pose), 깊이(Depth), 전경/배경 마스크(Panoptic masks), 광학 흐름(Optical flow), 그리고 비디오 언어 모델(VLM)의 다섯 가지 추가 모달 정보를 활용합니다. 각 모달 정보는 다각형의 한 축으로 표현되며, 의사 모달 생성 모듈과 교차 모달 유도 모듈을 통해 RGB 정보에 추가적인 단서를 제공합니다. 학습 과정에서 다섯 가지 모달 백본을 사용하지만, 추론 과정에서는 RGB 정보만을 사용하여 연산 비용을 절감하면서 세 가지 주요 VAD 데이터셋에서 최첨단 성능을 달성합니다.
