Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

TryOffDiff: Virtual-Try-Off via High-Fidelity Garment Reconstruction using Diffusion Models

Created by
  • Haebom

저자

Riza Velioglu, Petra Bevandic, Robin Chan, Barbara Hammer

개요

본 논문은 단일 의류 착용자 사진으로부터 표준화된 의류 이미지를 생성하는 새로운 과제인 가상 시착(Virtual Try-Off, VTOFF)을 소개합니다. 기존의 가상 시착(Virtual Try-On, VTON)이 모델에 디지털 의상을 입히는 것과 달리, VTOFF는 형태, 질감, 복잡한 패턴의 정확한 재구성을 필요로 하는 정준 의류 이미지를 추출하여 생성 모델의 충실도를 견고하게 평가할 수 있도록 합니다. 본 논문에서는 SigLIP 기반 시각적 조건화를 사용하여 Stable Diffusion을 적용한 TryOffDiff를 제안합니다. VITON-HD 및 Dress Code 데이터셋에 대한 실험 결과, TryOffDiff는 적응된 자세 전달 및 VTON 기준 모델보다 성능이 우수함을 보여줍니다. SSIM과 같은 기존 지표는 재구성 품질을 제대로 반영하지 못한다는 점을 발견하여 DISTS를 사용하여 신뢰할 수 있는 평가를 수행했습니다. 본 연구 결과는 VTOFF가 전자상거래 상품 이미지 개선, 생성 모델 평가 향상 및 고충실도 재구성에 대한 미래 연구를 위한 지침을 제공할 가능성을 보여줍니다. 데모, 코드 및 모델은 https://rizavelioglu.github.io/tryoffdiff 에서 확인할 수 있습니다.

시사점, 한계점

시사점:
가상 시착(VTON)의 한계를 극복하는 새로운 과제인 VTOFF 제시
고충실도 의류 이미지 재구성을 위한 효과적인 방법인 TryOffDiff 제안
생성 모델 평가를 위한 새로운 지표(DISTS)의 활용성 제시
전자상거래 상품 이미지 개선 및 생성 모델 연구 발전에 기여
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구 필요
다양한 의류 종류 및 복잡한 패턴에 대한 로버스트성 검증 필요
DISTS 외 다른 평가 지표를 통한 추가적인 성능 분석 필요
👍