Sign In

Generative human motion mimicking through feature extraction in denoising diffusion settings

Created by
  • Haebom
Category
Empty

저자

Alexander Okupnik, Johannes Schneider, Kyriakos Flouris

개요

본 논문은 대규모 언어 모델의 성공에 따른 인간-AI 상호 작용의 새로운 흐름에 발맞춰, 춤을 통해 창의적인 인간-AI 상호 작용을 탐구합니다. 모션 캡처 데이터를 기반으로 하는 대화형 모델을 구축하여, 입력된 움직임 데이터를 부분적으로 모방하고 "창의적으로" 향상시켜 인공적인 상대를 생성합니다. 이 모델은 단일 인물 모션 데이터와 고차원 특징을 활용하여, 저차원 인간-인간 상호 작용 데이터에 의존하지 않고, 모션 인페인팅 및 모션 스타일 전송과 같은 두 가지 확산 모델의 아이디어를 결합하여 시간적으로 일관되고 선택된 움직임 참조에 반응하는 움직임 표현을 생성합니다. 생성된 샘플의 특징 분포와 테스트 세트 간의 수렴을 정량적으로 평가하여 모델의 성공을 입증합니다.

시사점, 한계점

단일 인물 모션 데이터 및 고차원 특징을 활용하여 현실적이고 다양한 AI 춤 생성을 가능하게 함.
모션 인페인팅 및 모션 스타일 전송을 결합하여 시간적 일관성과 참조 움직임에 반응하는 움직임 생성.
정량적 평가를 통해 모델의 성공을 입증.
단일 인물 모션 데이터에만 의존하여 인간-인간 상호 작용 데이터의 부족을 보완하지만, 상호 작용의 깊이 측면에서 한계가 있을 수 있음.
생성된 춤의 창의성 및 현실성 평가에 대한 주관적인 요소가 존재할 수 있음.
모델의 일반화 가능성 및 다른 춤 스타일로의 확장성에 대한 추가 연구 필요.
👍