본 논문은 비디오 객체 분할(VOS)에서 기존의 외관 매칭 방식의 한계를 극복하기 위해 개념 기반 분할 프레임워크인 Segment Concept (SeC)를 제안합니다. SeC는 대규모 비전-언어 모델(LVLMs)을 활용하여 다양한 프레임에서 시각적 단서를 통합하고, 객체 중심의 고차원 표현을 생성하여 강력한 개념적 사전 정보를 구축합니다. 추론 과정에서 SeC는 처리된 프레임을 기반으로 목표 객체의 포괄적인 의미적 표현을 형성하여 후속 프레임의 강력한 분할을 실현합니다. 또한, 장면 복잡도에 따라 LVLM 기반 의미적 추론과 향상된 특징 매칭 간의 균형을 적응적으로 조절하여 계산 비용을 동적으로 조정합니다. 고차원 개념적 추론과 강력한 의미적 이해가 필요한 시나리오에서 VOS 방법을 엄격하게 평가하기 위해, 의미적으로 복잡한 시나리오 비디오 객체 분할 벤치마크(SeCVOS)를 도입했습니다. SeCVOS는 상당한 외관 변화와 동적 장면 변환으로 모델에 도전하도록 설계된 160개의 수동 주석이 달린 다중 시나리오 비디오로 구성됩니다. SeC는 SeCVOS에서 SAM 2.1보다 11.8점 향상된 성능을 달성하여 개념 인식 비디오 객체 분할 분야에서 새로운 최첨단 기술을 확립했습니다.
시사점, 한계점
•
시사점:
◦
기존 VOS 방법의 한계인 외관 변화, 폐색, 복잡한 장면 변화에 대한 취약성을 개념 기반 접근 방식으로 극복.
◦
대규모 비전-언어 모델(LVLMs)을 활용하여 고차원 의미적 정보를 활용한 강인한 객체 분할 성능 달성.
◦
SeCVOS 벤치마크 제시를 통해 개념적 추론 및 의미적 이해 능력을 요구하는 VOS 평가 기준 마련.
◦
SAM 2.1 대비 11.8점 향상된 성능으로 개념 인식 VOS 분야의 새로운 state-of-the-art 달성.
