본 논문은 인간 수준의 지시에 따라 일상적인 작업을 수행하기 위해 환경과 자율적으로 상호 작용하는 지능형 에이전트를 위한 시스템을 제안한다. 이 시스템은 인간 수준의 지시를 정확하게 해석하기 위한 세계에 대한 기본적인 이해와, 도출된 행동을 실행하기 위한 정밀한 저수준의 움직임 및 상호 작용 기술을 필요로 한다. 본 논문에서는 맥락적 환경에서 물체 조작을 위한 물리적으로 타당하고 장기간의 인간-물체 상호 작용을 합성하는 최초의 완전한 시스템을 제안한다. 대규모 언어 모델(LLM)을 활용하여 입력 지시를 상세한 실행 계획으로 해석하고, 이전 연구와 달리 손가락-물체 상호 작용을 전신 움직임과 매끄럽게 조정하여 생성할 수 있다. 또한 강화 학습(RL)을 통해 물리 시뮬레이션에서 생성된 동작을 추적하는 정책을 훈련하여 동작의 물리적 타당성을 보장한다. 실험 결과는 복잡한 환경에서 다양한 물체와의 사실적인 상호 작용을 합성하는 시스템의 효과를 보여주며, 실제 응용 가능성을 강조한다.
