본 논문은 모호하고 불완전한 인간의 지시를 해석해야 하는 가정 환경에서 작동하는 구체화된 에이전트의 문제를 연구합니다. 'Ask-to-Act' 태스크를 도입하여 에이전트가 모호성을 해결하기 위해 관련 질문을 하고, 부분 관찰 하에서 탐색하며, 단일 또는 다중 객체 재배치 작업을 수행하도록 합니다. 제안된 접근 방식은 멀티 모달 대규모 언어 모델(MLLM)을 온라인 강화 학습(RL)을 통해 시각-언어-행동(VLA) 정책으로 미세 조정하는 것입니다. 이는 LLM으로 생성된 보상을 사용하며, 대규모의 인간 시연이나 수동으로 설계된 보상의 필요성을 없앱니다. 제안된 방법은 GPT-4o를 포함한 강력한 제로샷 기반 및 지도 학습된 MLLM을 능가하며, 새로운 장면과 작업에 잘 일반화됩니다.
