Este artículo propone CCL-LGS, un nuevo marco para la comprensión semántica 3D. Para abordar los desafíos de los métodos 2D basados en valores previos, que presentan inconsistencias semánticas entre vistas debido a la oclusión, el desenfoque de la imagen y las variaciones dependientes de la vista, proponemos un método que mejora la supervisión semántica consistente con la vista mediante la incorporación de claves semánticas multivista. En concreto, alineamos máscaras 2D generadas por SAM mediante un rastreador de disparo cero, extraemos codificaciones semánticas robustas mediante CLIP y extraemos características semánticas discriminativas mejorando la compacidad intraclase y la distinción interclase mediante el módulo de Aprendizaje de Libro de Códigos Contrastivo (CCL). A diferencia de los métodos existentes, CCL-LGS resuelve explícitamente los conflictos semánticos manteniendo la discriminabilidad de categorías, en lugar de aplicar CLIP directamente a máscaras incompletas. Los resultados experimentales demuestran que CCL-LGS supera a los métodos de vanguardia existentes.
