Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

GeoSAM2: Liberando el poder de SAM2 para la segmentación de piezas 3D

Created by
  • Haebom

Autor

Ken Deng, Yunhan Yang, Jingxiang Sun, Xihui Liu, Yebin Liu, Ding Liang, Yan-Pei Cao

Describir

GeoSAM2 es un marco de trabajo controlado por indicaciones para la segmentación de piezas de objetos 3D sin textura. Renderiza mapas normales y de puntos desde un punto de vista predefinido y utiliza indicaciones 2D sencillas (clics o cuadros) para guiar la selección de piezas. Una estructura principal compartida de SAM2, mejorada con LoRA y fusión de geometría residual, procesa las indicaciones, lo que permite la inferencia específica de la vista, conservando la información previa preentrenada. Las máscaras predichas se retroproyectan sobre el objeto y se agregan entre las vistas. Este método permite un control preciso de las piezas sin indicaciones de texto, optimización específica de la forma ni etiquetas 3D completas. A diferencia de los métodos de agrupamiento global o basados ​​en escala, las indicaciones son explícitas, espacialmente fundamentadas e interpretables. Logra un rendimiento de vanguardia independiente de la clase en PartObjaverse-Tiny y PartNetE, superando tanto a los procesos de optimización lentos como a los enfoques de avance rápidos pero rudimentarios. Esto resalta un nuevo paradigma para la segmentación 3D que aprovecha las entradas 2D interactivas para aumentar la capacidad de control y la precisión en la comprensión de las piezas a nivel de objeto, alineándose con el paradigma de SAM2.

Takeaways, Limitations

Takeaways:
Proporciona un marco preciso y controlable para segmentar objetos 3D sin indicaciones de texto.
Utilice indicaciones 2D para guiar la selección de piezas de una manera intuitiva e interpretable.
Es más rápido que los métodos basados ​​en optimización y más preciso que los métodos de avance rudimentarios.
Logramos un rendimiento de última generación en los conjuntos de datos PartObjaverse-Tiny y PartNetE.
Presentamos un nuevo paradigma para la segmentación 3D.
Limitations:
Actualmente, el rendimiento solo se ha evaluado en objetos sin texturas. El rendimiento en objetos con texturas requiere mayor investigación.
Los tipos de indicaciones se limitan a clics y cuadros. Es posible que se necesiten extensiones para adaptar una mayor variedad de indicaciones.
Debido a que depende de la red troncal SAM2, las limitaciones de la red troncal pueden afectar el rendimiento de GeoSAM2.
👍