본 논문은 여러 개념을 조합하여 이미지를 생성하는 합성 맞춤형 이미지 생성에 초점을 맞추고 있습니다. 기존 연구는 주로 목표 개체의 외형 보존에 집중했지만, 개체 간의 세밀한 상호 작용 제어는 간과했습니다. 본 논문은 인간-물체 상호 작용 시나리오에 집중하여 맞춤형 인간-물체 상호 작용 이미지 생성(CHOI)이라는 과제를 제안합니다. CHOI는 목표 인간과 물체의 정체성 보존과 그 사이의 상호 작용 의미 제어를 동시에 요구합니다. CHOI의 주요 과제는 (1) 동시적인 정체성 보존과 상호 작용 제어를 위해 인간과 물체를 자기 포함적인 정체성 특징과 자세 중심의 상호 작용 특징으로 분해해야 하지만, 기존 HOI 이미지 데이터셋은 이러한 특징 분해 학습에 이상적인 샘플을 제공하지 못한다는 점과 (2) 인간과 물체 사이의 공간적 구성이 부적절하면 원하는 상호 작용 의미가 부족해질 수 있다는 점입니다. 이를 해결하기 위해, 본 논문에서는 서로 다른 상호 작용 자세를 포함하는 동일한 인간-물체 쌍의 샘플을 포함하는 대규모 데이터셋을 처리하고, 두 단계 모델인 Interact-Custom을 설계했습니다. Interact-Custom은 먼저 상호 작용 행동을 묘사하는 전경 마스크를 생성하여 공간적 구성을 명시적으로 모델링한 후, 이 마스크의 안내에 따라 정체성 특징을 보존하면서 상호 작용하는 목표 인간과 물체를 생성합니다. 또한 사용자가 배경 이미지와 목표 인간-물체가 나타나야 하는 위치의 합집합 위치를 제공하는 경우, Interact-Custom은 이를 지정하는 선택적 기능도 제공하여 높은 콘텐츠 제어 기능을 제공합니다. CHOI 작업에 대한 맞춤형 메트릭에 대한 광범위한 실험은 제안된 접근 방식의 효과를 보여줍니다.
