Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

TransLight: Control de iluminación personalizado guiado por imágenes con desacoplamiento generativo

Created by
  • Haebom

Autor

Zongming Li, Lianghui Zhu, Haocheng Shen, Longjin Ran, Wenyu Liu, Xinggang Wang

Describir

Los métodos de edición de iluminación existentes no logran proporcionar un control personalizable de los efectos de iluminación ni mantener la integridad del contenido simultáneamente. En este artículo, proponemos TransLight, un novedoso marco que permite la transferencia de efectos de iluminación con alta fidelidad y alto grado de libertad. La clave reside en extraer los efectos de iluminación de las imágenes de referencia, lo cual es un desafío en escenarios reales debido a las complejas características geométricas que están altamente acopladas con el contenido. Para lograrlo, presentamos un método de desacoplamiento generativo que separa con precisión el contenido de la imagen y los efectos de iluminación. Utilizando dos modelos de difusión ajustados, generamos un nuevo conjunto de datos de tripletes imagen-contenido-iluminación a escala de millones. Posteriormente, entrenamos el modelo utilizando IC-Light como modelo generativo, inyectando el triplete con la imagen de iluminación de referencia como señal de acondicionamiento adicional. TransLight permite la personalización y la transferencia natural de diversos efectos de iluminación. Al separar completamente los efectos de iluminación de la imagen de referencia, ofrece un control de iluminación altamente flexible. Los resultados experimentales demuestran que TransLight es el primer método para transferir con éxito efectos de iluminación entre diferentes imágenes, ofreciendo un control de iluminación más personalizado que las técnicas existentes y abriendo nuevas direcciones para la armonización de la iluminación y la investigación de edición.

Takeaways, Limitations

Takeaways:
Presentamos una técnica de separación generativa capaz de separar con alta calidad el contenido de la imagen y los efectos de iluminación.
Desarrollo del marco TransLight que permite transiciones naturales y personalizables de varios efectos de iluminación.
Una nueva dirección para la investigación sobre el control de la iluminación y la coordinación/edición de la iluminación que es superior a los métodos existentes.
Creación de un conjunto de datos triplete de iluminación, contenido e imágenes a escala de un millón.
Limitations:
Falta de una descripción detallada de la composición específica y la calidad del conjunto de datos a escala de millones presentado.
Se necesita una mayor validación del rendimiento de generalización en varios entornos de iluminación del mundo real.
Falta de análisis de costos computacionales y velocidad de procesamiento.
Puede haber un sesgo hacia ciertos tipos de efectos de iluminación.
👍