Los métodos de segmentación basados en NeRF se centran en la semántica de los objetos y dependen exclusivamente de datos RGB, lo que limita su capacidad para representar las propiedades únicas de los materiales. En este artículo, presentamos el marco UnMix-NeRF, que integra la desmezcla espectral en NeRF para realizar simultáneamente la síntesis de nuevas vistas hiperespectrales y la segmentación de materiales sin supervisión. La reflectancia espectral se modela mediante componentes difusos y especulares, mientras que un diccionario global de miembros finales aprendido representa las firmas puras del material, y las abundancias puntuales capturan su distribución. La agrupación de materiales sin supervisión se realiza mediante predicciones de firmas espectrales a lo largo de los miembros finales aprendidos. Además, al modificar el diccionario de miembros finales aprendido, permitimos una manipulación flexible de la apariencia basada en materiales para la edición de escenas. Experimentos exhaustivos demuestran un rendimiento superior en la reconstrucción espectral y la segmentación de materiales en comparación con los métodos existentes.
