Robi Butler는 사용자가 원격으로 가사일을 관리할 수 있도록 하는 새로운 가정용 로봇 보조 시스템입니다. 대규모 언어 모델(LLM) 기반의 고수준 행동 모듈을 통해 다중 모드 명령(음성, 텍스트, 제스처)을 해석하고, 시각-언어 모델을 이용하여 개방형 어휘 기반의 다단계 행동 계획을 생성합니다. Zoom을 인터페이스로 사용하여 사용자와 로봇 간의 원격 상호 작용을 구현하며, 다양한 가정용 작업에서 복잡한 사용자 명령을 수행하는 능력을 보여줍니다. 사용자 연구를 통해 다중 모달 상호 작용이 원격 인간-로봇 상호 작용의 사용자 경험에 미치는 영향을 조사했습니다.
