Les méthodes de segmentation basées sur NeRF se concentrent sur la sémantique des objets et s'appuient uniquement sur les données RVB, ce qui limite leur capacité à prendre en compte les propriétés uniques des matériaux. Dans cet article, nous présentons le framework UnMix-NeRF, qui intègre le démixage spectral dans NeRF pour réaliser simultanément une synthèse de vues hyperspectrales et une segmentation matérielle non supervisée. La réflectance spectrale est modélisée via des composantes diffuses et spéculaires, tandis qu'un dictionnaire global de membres finaux appris représente les signatures matérielles pures, et les abondances ponctuelles capturent leur distribution. Le clustering de matériaux non supervisé est réalisé à l'aide de prédictions de signatures spectrales le long des membres finaux appris. De plus, en modifiant le dictionnaire de membres finaux appris, nous permettons une manipulation flexible de l'apparence basée sur les matériaux pour l'édition de scènes. Des expériences approfondies démontrent des performances supérieures en reconstruction spectrale et en segmentation matérielle par rapport aux méthodes existantes.
