In-Context Brush: Zero-shot Customized Subject Insertion with Context-Aware Latent Space Manipulation
Created by
Haebom
저자
Yu Xu, Fan Tang, You Wu, Lin Gao, Oliver Deussen, Hongbin Yan, Jintao Li, Juan Cao, Tong-Yee Lee
개요
본 논문은 사용자 지정 객체를 텍스트 프롬프트로 안내하여 주어진 이미지에 매끄럽게 "브러싱"하는 다중 모드 안내 시각적 생성을 향상시킨 최근 확산 모델의 발전에 초점을 맞춥니다. 기존 방법들은 종종 높은 충실도로 사용자 지정 객체를 삽입하고 텍스트 프롬프트를 통해 사용자 의도와 결과를 정렬하는 데 어려움을 겪습니다. 이를 해결하기 위해 본 논문에서는 컨텍스트 학습 패러다임 내에서 작업을 재구성하여 사용자 지정 객체 삽입을 위한 제로샷 프레임워크인 "In-Context Brush"를 제안합니다. 객체 이미지와 텍스트 프롬프트를 교차 모드 데모로, 마스크된 영역이 있는 대상 이미지를 쿼리로 공식화하여 모델 조정 없이 텍스트 프롬프트와 정렬된 객체로 대상 이미지를 채웁니다. 사전 훈련된 MMDiT 기반 인페인팅 네트워크를 기반으로, 각 어텐션 헤드 내에서 어텐션 출력을 동적으로 이동시켜 원하는 객체 의미를 반영하는 "잠재 특징 이동"과 차별적인 어텐션 우선 순위 지정을 통해 프롬프트 제어 가능성을 증폭시키는 여러 헤드 간의 "어텐션 가중치 재조정"이라는 두 가지 수준의 잠재 공간 조작을 통해 테스트 시간 향상을 수행합니다. 광범위한 실험과 응용 프로그램은 본 논문의 접근 방식이 기존 최첨단 방법보다 우수한 ID 보존, 텍스트 정렬 및 이미지 품질을 달성함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
제로샷 학습을 통해 사용자 지정 객체 삽입을 위한 새로운 프레임워크 "In-Context Brush"를 제시합니다.
◦
기존 방법보다 우수한 ID 보존, 텍스트 정렬 및 이미지 품질을 달성합니다.
◦
추가적인 데이터 수집이나 모델 조정 없이도 고품질의 이미지 생성이 가능합니다.
◦
잠재 공간 조작을 통한 효과적인 프롬프트 제어 방법을 제시합니다.
•
한계점:
◦
제시된 방법의 일반화 성능에 대한 추가적인 연구가 필요합니다.
◦
복잡한 객체나 배경에 대한 성능 평가가 부족합니다.
◦
특정 종류의 이미지나 객체에 대해서는 성능 저하가 발생할 가능성이 있습니다.
◦
MMDiT 기반 네트워크에 의존하므로, 네트워크의 한계가 본 방법의 성능에 영향을 줄 수 있습니다.
