본 논문은 3D 의미론적 이해를 위한 새로운 프레임워크인 CCL-LGS를 제안합니다. 기존의 2D prior 기반 방법들이 occlusion, image blur, view-dependent variations로 인한 cross-view semantic inconsistencies 문제를 겪는다는 점에 착안하여, 다중 뷰 의미론적 단서를 통합하여 view-consistent semantic supervision을 강화하는 방법을 제시합니다. 구체적으로, zero-shot tracker를 이용하여 SAM-generated 2D masks를 정렬하고, CLIP을 이용하여 robust semantic encodings을 추출하며, Contrastive Codebook Learning (CCL) 모듈을 통해 intra-class compactness와 inter-class distinctiveness를 강화하여 차별적인 의미론적 특징을 추출합니다. 기존 방법들과 달리 불완전한 mask에 CLIP을 직접 적용하는 대신, semantic conflicts를 명시적으로 해결하면서 category discriminability를 유지합니다. 실험 결과, CCL-LGS가 기존 최첨단 방법들을 능가함을 보여줍니다.
