DreamActor-M1은 기존 이미지 기반 인체 애니메이션 방법의 한계인 세밀한 제어, 다양한 크기 적응성, 장기간 일관성 문제를 해결하기 위해 제안된 확산 트랜스포머(DiT) 기반 프레임워크입니다. 암묵적 얼굴 표현, 3D 머리 구체, 3D 신체 골격을 통합한 하이브리드 제어 신호를 사용하여 얼굴 표정과 신체 움직임을 강력하게 제어하고 표현력이 풍부하며 신원을 유지하는 애니메이션을 생성합니다. 다양한 자세와 초상화부터 전신까지 다양한 이미지 크기를 처리하기 위해 다양한 해상도와 크기의 데이터를 사용한 점진적 학습 전략을 채택했습니다. 또한, 연속 프레임의 움직임 패턴과 보완적인 시각적 참조를 통합하여 복잡한 움직임 중 보이지 않는 영역에서도 장기간의 시간적 일관성을 보장합니다. 실험 결과, DreamActor-M1은 최첨단 방법보다 우수한 성능을 보이며 초상화, 상체, 전신 생성에 대해 표현력이 풍부하고 장기간 일관성이 뛰어난 결과를 제공합니다.
