Paint by Inpaint: Learning to Add Image Objects by Removing Them First
Created by
Haebom
Category
Empty
저자
Navve Wasserman, Noam Rotstein, Roy Ganz, Ron Kimmel
개요
본 논문은 텍스트 기반 이미지 편집에서 객체 추가의 어려움을 해결하기 위해, 객체 제거(Inpaint)가 객체 추가(Paint)보다 쉽다는 점에 착안하여 새로운 접근 방식을 제시합니다. 기존 Inpainting 모델이 세분화 마스크 안내에 의존하는 점을 활용하여, 객체가 제거된 이미지와 원본 이미지 쌍으로 구성된 대규모 데이터셋을 자동화된 파이프라인을 통해 구축합니다. 이 데이터셋을 이용하여 diffusion model을 학습시켜, 객체 제거 과정을 역으로 수행하여 이미지에 객체를 추가하는 모델을 개발합니다. 기존의 합성 이미지 대신 실제 이미지를 사용하고, 소스-타겟 이미지의 일관성을 유지하며, 대규모 Vision-Language Model과 Large Language Model을 활용하여 제거된 객체에 대한 자세한 설명과 다양한 자연어 지시어를 생성합니다. 실험 결과, 제안된 모델은 기존 모델보다 객체 추가 및 일반적인 이미지 편집 작업에서 우수한 성능을 보입니다. 데이터셋과 학습된 모델은 프로젝트 페이지(https://rotsteinnoam.github.io/Paint-by-Inpaint)에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
객체 추가 이미지 편집 문제에 대한 새로운 접근 방식 제시 (객체 제거의 역 과정으로 접근)
◦
실제 이미지 기반의 대규모 데이터셋 구축 및 공개
◦
Vision-Language Model 및 Large Language Model을 활용한 자연어 지시어 생성
