본 논문은 다양한 시각 효과(VFX)를 단일 프레임워크 내에서 생성하고 공간적으로 제어할 수 있는 새로운 모델인 Omni-Effects를 제안한다. 기존의 LoRA 기반 VFX 생성 모델은 효과별 학습으로 인해 복수 효과의 공간적 제어가 어려운 한계를 지니는데, Omni-Effects는 LoRA 기반 전문가 혼합(LoRA-MoE)과 공간 인식 프롬프트(SAP)를 통해 이 문제를 해결한다. LoRA-MoE는 다양한 효과를 통합하면서 과업 간 간섭을 완화하고, SAP는 공간 마스크 정보를 텍스트 토큰에 통합하여 정밀한 공간 제어를 가능하게 한다. 또한, 독립 정보 흐름(IIF) 모듈을 통해 개별 효과에 대한 제어 신호를 분리하여 원치 않는 혼합을 방지한다. 새로운 데이터 수집 파이프라인을 통해 구축된 종합적인 VFX 데이터셋 Omni-VFX와 전용 VFX 평가 프레임워크도 함께 제시한다. 실험 결과, Omni-Effects는 정확한 공간 제어와 다양한 효과 생성을 달성함을 보여준다.
시사점, 한계점
•
시사점:
◦
다양한 VFX를 단일 모델에서 효율적으로 생성하고 공간적으로 제어할 수 있는 새로운 방법 제시.
