Daily Arxiv

Cette page résume et organise les publications en intelligence artificielle du monde entier.
Les contenus sont synthétisés grâce à Google Gemini et le service est proposé à but non lucratif.
Les droits d'auteur des articles appartiennent à leurs auteurs ou institutions respectives ; en cas de partage, il suffit d'en mentionner la source.

Traitement facial guidé par l'incertitude pour une transformation faciale sensible à l'occlusion

Created by
  • Haebom

Auteur

Hyebin Cho, Jaehyup Lee

Contour

Cet article propose un nouveau framework de masquage facial, FaceMat, qui estime un cache alpha haute résolution séparant les éléments occultants du visage afin de résoudre le problème d'occlusion (lorsque les mains, les cheveux, les accessoires, etc. obscurcissent le visage) qui dégrade les performances des filtres faciaux. Pour y parvenir, nous présentons FaceMat, un framework de masquage facial prenant en compte l'incertitude sans trimaps. FaceMat est entraîné à l'aide d'un pipeline d'apprentissage basé sur un modèle enseignant-élève. Le modèle enseignant prédit à la fois le cache alpha et l'incertitude pixel par pixel, et ces informations d'incertitude sont ensuite utilisées pour guider le modèle élève de manière adaptative spatialement. Contrairement aux méthodes existantes, FaceMat fonctionne sans entrées auxiliaires (trimaps ou masques de segmentation) et améliore la stratégie de synthèse en distinguant clairement la peau des occlusions d'avant-plan et d'arrière-plan. De plus, nous menons des expériences à l'aide d'un nouveau jeu de données synthétiques à grande échelle, CelebAMat, et démontrons que notre approche surpasse les méthodes de pointe existantes sur divers benchmarks. Le code source et le jeu de données CelebAMat sont accessibles au public.

Takeaways, Limitations

Takeaways:
Une nouvelle méthode de masquage du visage qui résout le problème d'occlusion des filtres faciaux.
Proposer un framework FaceMat efficace qui ne nécessite pas de trimap.
Amélioration des performances d'accouplement et de généralisation en exploitant les informations d'incertitude.
CelebAMat, un ensemble de données synthétiques à grande échelle, publié
Efficacité adaptée aux applications en temps réel
Différenciation peau/occlusion pour des stratégies de synthèse claires
Limitations:
Actuellement, nous avons mené des expériences en utilisant l’ensemble de données synthétiques CelebAMat, une évaluation plus approfondie des performances sur des données réelles est donc nécessaire.
En raison des limites des ensembles de données synthétiques, une validation supplémentaire des performances de généralisation pour différents types d’occlusion dans le monde réel est nécessaire.
Il manque une analyse détaillée du coût de calcul et des performances de traitement en temps réel de FaceMat.
👍