텍스트-이미지 확산 모델은 고품질 이미지를 생성할 수 있지만, 시각적 개념에 대한 세밀한 제어가 부족하여 창의성이 제한됩니다. 본 논문에서는 개념 내 개별 구성 요소를 사용자가 사용자 지정하고 재구성할 수 있도록 하는 새로운 과제인 구성 요소 제어 가능한 개인화를 제시합니다. 이 과제는 원치 않는 요소가 목표 개념을 방해하는 의미 오염과 목표 개념 및 구성 요소의 불균형적인 학습을 야기하는 의미 불균형이라는 두 가지 어려움에 직면합니다. 이를 해결하기 위해, 본 논문에서는 원치 않는 시각적 의미를 적응적으로 방해하는 동적 마스크 분해와 원하는 시각적 의미의 더 균형 잡힌 학습을 위한 이중 스트림 균형을 사용하는 MagicTailor 프레임워크를 설계했습니다. 실험 결과는 MagicTailor가 이 과제에서 우수한 성능을 달성하고 더욱 개인화되고 창의적인 이미지 생성을 가능하게 함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
텍스트-이미지 생성 모델의 제어 가능성을 향상시키는 새로운 구성 요소 제어 가능한 개인화 과제를 제시.
◦
의미 오염 및 의미 불균형 문제를 해결하는 효과적인 프레임워크인 MagicTailor 제안.
