본 논문은 사전 훈련된 대규모 모델을 사용한 맞춤형 텍스트-비디오 생성에서 신원과 움직임의 일관성에 중점을 둔 최근 연구에 대해 다룹니다. 기존 연구는 신원 또는 움직임 역학을 독점적으로 맞춤화하는 독립적인 맞춤화 패러다임을 따릅니다. 하지만 이 패러다임은 신원과 움직임 사이의 고유한 상호 제약 및 상승적 상호 의존성을 완전히 무시하여 생성 과정 전체에서 신원-움직임 충돌을 발생시키고 체계적으로 성능을 저하시킵니다. 이를 해결하기 위해 본 논문에서는 차원 간 상호 의존성을 공동으로 구축하는 적응적 공동 훈련을 사용하는 새로운 프레임워크인 DualReal을 제시합니다. DualReal은 두 가지 장치로 구성됩니다. (1) Dual-aware Adaptation은 훈련 단계(즉, 신원 또는 움직임)를 동적으로 전환하고, 고정된 차원 사전에 의해 안내되는 현재 정보를 학습하며, 지식 유출을 방지하기 위한 규제 전략을 사용합니다. (2) StageBlender Controller는 잡음 제거 단계와 Diffusion Transformer 깊이를 활용하여 다양한 단계에서 충돌을 피하고 궁극적으로 신원과 움직임 패턴의 손실 없는 융합을 달성하기 위해 적응적 세분성으로 다양한 차원을 안내합니다. 기존 방법보다 더 포괄적인 평가 벤치마크를 구성했습니다. 실험 결과 DualReal은 CLIP-I 및 DINO-I 지표를 평균 21.7% 및 31.8% 향상시키고 거의 모든 움직임 지표에서 최고 성능을 달성했습니다.
