본 논문은 이미지 생성에서 확산 모델의 빠른 발전에 따라 더욱 강력하고 유연한 제어 가능한 프레임워크에 대한 수요가 증가함에 따라, 여러 조건 입력을 효과적으로 결합하면서 모든 입력과의 일관성을 유지하는 문제를 해결하기 위해 UniCombine이라는 새로운 프레임워크를 제시한다. UniCombine은 DiT 기반의 다중 조건 제어 가능 생성 프레임워크로, 텍스트 프롬프트, 공간 맵, 주제 이미지 등 여러 조건의 조합을 처리할 수 있다. 새로운 Conditional MMDiT Attention 메커니즘과 학습 가능한 LoRA 모듈을 도입하여 학습이 필요 없는 버전과 학습 기반 버전을 모두 구축하였다. 또한, 주제 중심 및 공간 정렬 조건을 모두 포함하는 다중 조건 생성 작업을 위해 설계된 최초의 데이터셋인 SubjectSpatial200K를 제시한다. 다양한 실험 결과를 통해 UniCombine의 뛰어난 보편성과 강력한 성능을 입증하고 최첨단 성능을 달성하였다.
시사점, 한계점
•
시사점:
◦
다양한 조건 (텍스트, 공간 맵, 이미지 등)을 효과적으로 결합하여 이미지 생성을 제어하는 새로운 프레임워크 UniCombine 제시.
