본 논문은 기존의 Video Object Segmentation (VOS) 기법들이 외관 매칭에 의존하여 급격한 시각적 변화, 폐색, 복잡한 장면 변화에 취약하다는 점을 지적하고, 개념 기반 분할 프레임워크인 Segment Concept (SeC)를 제안합니다. SeC는 대규모 비전-언어 모델(LVLMs)을 활용하여 다양한 프레임에 걸쳐 시각적 단서를 통합하고, 강력한 개념적 사전 정보를 구성하여 객체 중심의 고차원 표현을 생성합니다. 추론 과정에서 SeC는 처리된 프레임을 기반으로 목표 객체의 포괄적인 의미론적 표현을 형성하여 후속 프레임의 강력한 분할을 실현합니다. 또한, 장면 복잡도에 따라 LVLM 기반 의미론적 추론과 향상된 특징 매칭 간의 균형을 동적으로 조절합니다. 고차원 개념적 추론과 강력한 의미론적 이해를 요구하는 시나리오에서 VOS 방법을 엄격하게 평가하기 위해, 의미론적으로 복잡한 시나리오 비디오 객체 분할 벤치마크(SeCVOS)를 새롭게 제시합니다. SeCVOS는 상당한 외관 변화와 동적 장면 변환으로 모델에 도전하도록 설계된 160개의 수동 주석이 달린 다중 시나리오 비디오로 구성됩니다. SeC는 SeCVOS에서 SAM 2.1보다 11.8점 향상된 성능을 달성하여 개념 인식 비디오 객체 분할 분야의 새로운 최첨단 기술을 확립합니다.
시사점, 한계점
•
시사점:
◦
기존 VOS 기법의 한계점인 외관 매칭 의존성을 극복하고, 개념적 이해를 기반으로 한 새로운 VOS 프레임워크(SeC) 제시.
◦
대규모 비전-언어 모델(LVLMs)을 활용하여 시각적 단서를 효과적으로 통합하고, 강력한 개념적 사전 정보를 생성.
◦
장면 복잡도에 따라 계산 자원을 동적으로 조절하는 적응형 메커니즘 구현.
◦
고차원 개념적 추론 및 강력한 의미론적 이해를 요구하는 새로운 벤치마크(SeCVOS) 제시.
◦
SeCVOS에서 기존 최고 성능을 11.8점 상회하는 성능 달성.
•
한계점:
◦
SeCVOS 벤치마크의 규모가 상대적으로 작을 수 있음. 더 많은 데이터로 벤치마크를 확장할 필요성 존재.
◦
LVLM의 계산 비용이 높을 수 있으며, 실시간 응용에는 제약이 있을 수 있음.
◦
SeC의 성능 향상이 SeCVOS 벤치마크에 특화되어 다른 벤치마크에서도 동일한 수준의 성능 향상을 보장할 수 없을 수 있음.
◦
모델의 개념적 이해 능력에 대한 정량적 평가 방법에 대한 추가적인 연구가 필요할 수 있음.
