Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

NOCTIS: Segmentación de instancias basada en umbrales cíclicos de objetos novedosos

Created by
  • Haebom

Autor

Max Gandyra, Alessandro Santonicola, Michael Beetz

Describir

Este artículo propone NOCTIS (Novel Object Cyclic Threshold-based Instance Segmentation), un nuevo marco que no requiere entrenamiento para resolver el problema de la segmentación de instancias de objetos nuevos. NOCTIS integra modelos Grounded-SAM 2 y DINOv2 preentrenados para generar cuadros delimitadores y máscaras de segmentación precisos, y extrae incrustaciones de clase y parche. La coincidencia de objetos se logra mediante un novedoso mecanismo de Umbral Cíclico (CT) y una puntuación de coincidencia de objetos calculada en función de la similitud de incrustaciones de clase y la similitud máxima promedio de incrustaciones de parche. Además de CT, NOCTIS también utiliza puntuaciones de apariencia y la confianza promedio de los cuadros delimitadores y máscaras propuestos como componentes de puntuación, logrando un mejor rendimiento que los métodos RGB-D mediante una canalización solo RGB. Experimentalmente, demostramos que NOCTIS logra una puntuación AP promedio más alta que los mejores métodos RGB y RGB-D existentes en siete conjuntos de datos principales del desafío BoP 2023.

Takeaways, Limitations

•
Takeaways:
◦
Presentamos NOCTIS, un nuevo marco que resuelve eficazmente el problema de la segmentación de instancias de nuevos objetos sin entrenamiento.
◦
Logra un rendimiento que supera los métodos RGB y RGB-D de alto rendimiento existentes.
◦
Se presenta una estrategia eficaz de puntuación y correspondencia de objetos utilizando el mecanismo de umbral circular (CT), puntuaciones de apariencia y puntuaciones de confianza promedio.
◦
Muestra un mejor rendimiento que el método RGB-D con canalización solo RGB.
•
Limitations:
◦
Depende de modelos específicos preentrenados (Grounded-SAM 2, DINOv2). El uso de otros modelos puede resultar en un rendimiento deficiente.
◦
Falta una explicación detallada del ajuste de parámetros del mecanismo de umbralización cíclica (CT). Se requiere un análisis más profundo del proceso de optimización y del rendimiento de la generalización.
◦
Se necesita una mayor validación del rendimiento de generalización a una variedad de nuevos objetos.
◦
Se necesita una evaluación más profunda del rendimiento y la estabilidad en aplicaciones del mundo real.
👍
Made with Slashpage