본 논문은 동적 환경 변화 속에서 언어 지시를 따르고, 탐색하며 조작하는 로봇을 위한 새로운 프레임워크인 BINDER (Bridging INstant and DEliberative Reasoning)를 제안합니다. BINDER는 Deliberative Response Module (DRM, 작업 계획을 위한 다중 모달 LLM)과 Instant Response Module (IRM, 지속적인 모니터링을 위한 VideoLLM)을 통합하여 전략적 계획과 연속적인 환경 모니터링을 분리합니다. DRM은 3D 장면 업데이트를 통해 전략적 계획을 수행하고 IRM의 주의를 유도하며, IRM은 비디오 스트림을 분석하여 메모리를 업데이트하고 진행 중인 작업을 수정하며 필요한 경우 재계획을 트리거합니다. 이러한 양방향 조정을 통해 BINDER는 인지 유지를 위한 노력과 비용이 많이 드는 업데이트를 피하는 것 사이의 균형을 맞추며, 동적 환경에서 견고한 적응을 가능하게 합니다. 3가지 실제 환경에서 BINDER는 기존 기술보다 더 높은 성공률과 효율성을 달성했습니다.
