Puppet-Master es un generador de video interactivo que captura el movimiento interno de objetos, a nivel de partes, y sirve como proxy para el modelado universal de la dinámica de objetos. Dada la imagen de un objeto y un conjunto de "arrastres" que especifican las trayectorias de varios puntos del objeto, el modelo sintetiza un video en el que las partes del objeto se mueven en consecuencia. Para lograrlo, extendemos un generador de imagen a video preentrenado para codificar el arrastre de entrada y proponemos la atención de todo a primero como alternativa a la atención espacial convencional, mitigando los artefactos causados por el ajuste fino del generador de video con datos fuera del dominio. Ajustamos el modelo con Objaverse-Animation-HQ, un novedoso conjunto de datos de clips de movimiento a nivel de partes seleccionados, obtenidos mediante la renderización de animaciones 3D sintéticas. A diferencia de los videos del mundo real, estos clips sintéticos evitan confundir el movimiento del objeto completo y de la cámara con el movimiento a nivel de partes. Filtramos exhaustivamente las animaciones deficientes y mejoramos la renderización sintética con arrastres significativos que enfatizan la dinámica interna del objeto. A diferencia de otros generadores de vídeo condicionados por movimiento que principalmente mueven objetos enteros, Puppet-Master aprende a generar movimiento parcial. Además, se generaliza bien a imágenes reales fuera del dominio y supera a los métodos existentes en pruebas de rendimiento reales sin interrupciones.
