본 연구는 Segment Anything Model 2 (SAM2)를 이용한 비디오 위장 객체 분할(VCOS)의 적용 및 성능을 조사합니다. VCOS는 유사한 색상과 질감, 열악한 조명 조건 등으로 인해 주변 환경과 매끄럽게 혼합되는 비디오 내 객체를 탐지하는 것을 포함합니다. 일반적인 장면의 객체와 비교하여 위장된 객체는 탐지하기가 훨씬 더 어렵습니다. 본 연구는 다양한 모델과 프롬프트(클릭, 박스, 마스크)를 사용하여 위장 비디오 데이터셋에서 SAM2의 성능을 평가하고, SAM2를 기존의 다중 모달 대규모 언어 모델(MLLM) 및 VCOS 방법과 통합하는 것을 탐구하며, 비디오 위장 데이터셋에서 SAM2를 미세 조정하여 적응시킵니다. 실험 결과 SAM2가 비디오 내 위장 객체를 탐지하는 뛰어난 제로샷 능력을 가지고 있으며, VCOS를 위해 SAM2의 매개변수를 특별히 조정함으로써 이 능력을 더욱 향상시킬 수 있음을 보여줍니다. 코드는 https://github.com/zhoustan/SAM2-VCOS 에서 확인할 수 있습니다.
