Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo. La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro. Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.
PAD: Fusión de desacoplamiento de fase-amplitud para la clasificación multimodal de la cobertura terrestre
Created by
Haebom
Autor
Huiling Zheng, Xian Zhong, Bin Liu, Yi Xiao, Bihan Wen, Xiaofeng Li
Describir
En este artículo, proponemos un marco de desacoplamiento de fase-amplitud (PAD) para separar los componentes de fase (compartición de modalidades) y amplitud (complementariedad de modalidades) en el dominio de la frecuencia. Esto aborda los problemas de heterogeneidad de modalidades y complementariedad espectral subutilizada en la clasificación de la cobertura terrestre mediante la fusión de imágenes de radar de apertura sintética (SAR) y RGB. PAD considera explícitamente las propiedades físicas del espectro de frecuencias que los métodos existentes han pasado por alto y aprovecha la sensibilidad de forma del SAR y la riqueza espectral del RGB alineando las características de fase entre modalidades mediante corrección espectral de fase (PSC) e integrando dinámicamente patrones de alta y baja frecuencia utilizando un perceptrón multicapa adaptativo a la frecuencia (ASF). Los resultados experimentales en los conjuntos de datos WHU-OPT-SAR y DDHR-SK demuestran que alcanza un rendimiento de vanguardia.
Takeaways, Limitations
•
Takeaways:
◦
Presentamos un nuevo paradigma para la fusión de imágenes SAR y RGB mediante la separación de los componentes de fase y amplitud en el dominio de la frecuencia.
◦
Mejorar el rendimiento de la clasificación de la cobertura del suelo mediante el uso eficaz del intercambio de modalidades y las características complementarias
◦
Fusión eficiente de consistencia geométrica e información espectral mediante módulos PSC y ASF
◦
Garantizar la reproducibilidad y escalabilidad mediante código abierto
•
Limitations:
◦
Existe la posibilidad de que el rendimiento del método propuesto esté limitado a ciertos conjuntos de datos.
◦
Es necesario verificar el rendimiento de generalización para varios tipos de imágenes SAR y RGB
◦
Consideración de la complejidad y el coste computacional de los perceptrones multicapa adaptativos en frecuencia
