Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Exploración de correlaciones espacio-angulares no locales con un marco híbrido Mamba-Transformer para la superresolución del campo de luz

Created by
  • Haebom

Autor

Haosong Liu, Xiancheng Zhu, Huanqiang Zeng, Jianqing Zhu, Jiuwen Cao, Junhui Hou

Describir

Este artículo presenta una mejora del método basado en Mamba, que se caracteriza por su modelado de información de largo alcance y complejidad lineal, para optimizar el coste computacional y el rendimiento en la Superresolución de Imagen Ligera (LFSR). Para abordar los problemas de extracción de características ineficientes y redundantes de las estrategias convencionales de escaneo multidireccional aplicadas a datos LF complejos, este artículo diseña un Bloque Mamba Simple Subespacial (SSMB) basado en la estrategia de Escaneo Simple Subespacial (Sub-SS), logrando una extracción de características más eficiente y precisa. Además, para abordar las limitaciones del espacio de estados en la preservación de la información de ángulo espacial y disparidad, se propone una estrategia de modelado en dos etapas para explorar de forma más exhaustiva las correlaciones espacio-angulares no locales. En la primera etapa, se utiliza el Bloque Mamba Subespacial Residual Angular Espacial (SA-RSMB) para extraer características de ángulo espacial superficiales. En la segunda etapa, se utiliza una arquitectura paralela de doble rama que combina el Bloque Mamba del Plano Epipolar (EPMB) y el Bloque Transformador del Plano Epipolar (EPTB) para mejorar las características epipolares profundas. Con base en estos módulos y estrategias, proponemos LFMT, un marco híbrido Mamba-Transformer que integra las fortalezas de los modelos Mamba y Transformer. LFMT permite una exploración exhaustiva de la información en los dominios espacial, angular y epipolar. Los resultados experimentales demuestran que LFMT supera significativamente a los métodos LFSR de vanguardia existentes, manteniendo una baja complejidad computacional en conjuntos de datos LF reales y sintéticos.

Takeaways, Limitations

•
Takeaways:
◦
Al mejorar la eficiencia del método basado en Mamba, reducimos el costo computacional de LFSR y mejoramos su rendimiento.
◦
La estrategia Sub-SS y SSMB permiten una extracción de características más eficiente y precisa.
◦
La estrategia de modelado de dos pasos mejora la preservación de la información espacio-angular y de paralaje.
◦
Proponemos un marco LFMT que combina las fortalezas de Mamba y Transformer, dando como resultado un rendimiento mejorado.
◦
Logramos un rendimiento que supera las técnicas de última generación existentes en conjuntos de datos reales y sintéticos.
•
Limitations:
◦
Es posible que se requiera una validación adicional del rendimiento de generalización del método propuesto.
◦
Es posible que se haya realizado la optimización para un conjunto de datos específico y sea necesaria una evaluación del rendimiento en otros tipos de datos LF.
◦
Se necesitan más análisis para determinar el grado de reducción de la complejidad computacional y su eficacia en aplicaciones prácticas.
◦
Es posible que falte una explicación detallada de la configuración de los parámetros de la estrategia Sub-SS y una discusión de los métodos de optimización.
👍
Made with Slashpage