본 논문은 주어진 예시 이미지를 기반으로 RGB 이미지에서 새로운 객체 인스턴스를 분할하는 문제에 대한 해결책으로, 재학습 없이 사용 가능한 새로운 훈련 없는 프레임워크인 NOCTIS (Novel Object Cyclic Threshold based Instance Segmentation)를 제시합니다. NOCTIS는 Grounded-SAM 2를 활용하여 객체 제안과 세분화 마스크를 생성하고, DINOv2를 사용하여 견고한 클래스 및 패치 임베딩을 얻습니다. 특히 반복적인 텍스처 또는 시각적으로 유사한 패턴으로 인한 불안정한 매칭을 완화하기 위해 새로운 주기적 임계값 설정(CT) 메커니즘을 도입했습니다. 또한 객체 선택 편향의 영향을 받지 않는 외관 점수, 제안된 경계 상자와 마스크의 평균 신뢰도, 그리고 RGB 전용 파이프라인을 사용합니다. NOCTIS는 BOP 2023 챌린지의 "보이지 않는 객체의 모델 기반 2D 분할" 작업에 대해 7개의 핵심 데이터 세트에서 평균 AP 점수를 기준으로 최고의 RGB 및 RGB-D 방법을 능가함을 실험적으로 입증했습니다.
