Daily Arxiv

Esta página recopila y organiza artículos sobre inteligencia artificial publicados en todo el mundo.
La información aquí presentada se resume utilizando Google Gemini y el sitio se gestiona sin fines de lucro.
Los derechos de autor de los artículos pertenecen a sus autores y a las instituciones correspondientes; al compartir el contenido, basta con citar la fuente.

Matizado facial guiado por incertidumbre para una transformación facial consciente de la oclusión

Created by
  • Haebom

Autor

Hyebin Cho, Jaehyup Lee

Describir

Este artículo propone un novedoso marco de matizado facial, FaceMat, que estima un matizado alfa de alta resolución que separa los elementos oclusivos del rostro para abordar el problema de oclusión (cuando las manos, el cabello, los accesorios, etc., oscurecen el rostro) que degrada el rendimiento de los filtros faciales. Para lograrlo, presentamos FaceMat, un marco de matizado facial que considera la incertidumbre sin trimaps. FaceMat se entrena mediante un flujo de aprendizaje del modelo profesor-alumno. El modelo profesor predice tanto el matizado alfa como la incertidumbre a nivel de píxel, y esta información de incertidumbre se utiliza para guiar espacialmente de forma adaptativa al modelo del alumno. A diferencia de los métodos existentes, FaceMat funciona sin entradas auxiliares (trimaps o máscaras de segmentación) y mejora la estrategia de síntesis al distinguir claramente la piel entre las oclusiones de primer plano y de fondo. Además, realizamos experimentos utilizando un nuevo conjunto de datos sintéticos a gran escala, CelebAMat, y demostramos que nuestro enfoque supera a los métodos de vanguardia existentes en diversas pruebas de referencia. El código fuente y el conjunto de datos CelebAMat están disponibles públicamente.

Takeaways, Limitations

Takeaways:
Un nuevo método de enmascaramiento facial que aborda el problema de oclusión de los filtros faciales.
Proponemos un marco FaceMat eficiente que no requiere un trimap.
Se mejoró el rendimiento de apareamiento y de generalización al aprovechar la información de incertidumbre.
CelebAMat, un conjunto de datos sintéticos a gran escala, publicado
Eficiencia adecuada para aplicaciones en tiempo real
Diferenciación piel/oclusión para estrategias de síntesis claras
Limitations:
Actualmente, hemos realizado experimentos utilizando el conjunto de datos sintéticos CelebAMat, por lo que se requiere una mayor evaluación del rendimiento en datos del mundo real.
Debido a las limitaciones de los conjuntos de datos sintéticos, se necesita una mayor validación del rendimiento de generalización para varios tipos de oclusión en el mundo real.
Falta un análisis detallado del coste computacional y del rendimiento del procesamiento en tiempo real de FaceMat.
👍