Paint by Inpaint: Learning to Add Image Objects by Removing Them First
Created by
Haebom
Category
Empty
저자
Navve Wasserman, Noam Rotstein, Roy Ganz, Ron Kimmel
개요
본 논문은 텍스트 기반의 이미지 편집을 위한 새로운 접근법을 제시합니다. 기존의 텍스트 조건부 확산 모델들은 사용자 제공 마스크 없이 이미지에 객체를 추가하는 데 어려움을 겪는 반면, 본 연구는 객체 제거(Inpaint)가 객체 추가(Paint)보다 훨씬 쉽다는 점에 착안하여, 자동화된 파이프라인을 통해 객체가 제거된 이미지 쌍으로 구성된 대규모 데이터셋을 구축했습니다. 이 데이터셋을 사용하여 확산 모델을 학습시켜 객체 제거 과정을 역으로 수행함으로써 이미지에 객체를 효과적으로 추가합니다. 기존 데이터셋과 달리, 합성 이미지 대신 실제 이미지를 사용하며, 소스-타겟 일관성을 보장합니다. 또한, 대규모 비전-언어 모델과 대규모 언어 모델을 활용하여 제거된 객체에 대한 자세한 설명과 다양한 자연어 명령어를 생성합니다. 실험 결과, 제안된 모델은 기존 모델보다 객체 추가 및 일반적인 이미지 편집 작업에서 우수한 성능을 보입니다. 데이터셋과 학습된 모델은 프로젝트 페이지(https://rotsteinnoam.github.io/Paint-by-Inpaint)에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
객체 추가 작업의 어려움을 객체 제거 작업과의 역관계를 이용하여 해결하는 새로운 접근법 제시
