본 논문은 자연어 명령을 통해 상호작용 환경에서 객체를 탐색하고 상호 작용하는 임베디드 명령 수행(EIF) 과제에 대해 다룹니다. 기존 EIF의 주요 과제인 구성적 작업 계획을 해결하기 위해, 지도 학습이나 소량의 데이터를 이용한 몇 번의 시도 학습 없이도 적절한 계획을 유추하는 자기 질의응답(self-QA) 기반 제로샷 계획 방법인 소크라테스 플래너(Socratic Planner)를 제시합니다. 소크라테스 플래너는 거대 언어 모델(LLM)의 자기 질문 및 답변을 통해 일련의 하위 목표를 생성하고, 실행 중 예상치 못한 상황(예: 예측 불가능한 장애물) 발생 시 시각적 피드백을 기반으로 계획을 조정하는 시각적으로 근거한 재계획 메커니즘을 사용합니다. ALFRED 벤치마크에서 기존 최첨단 계획 모델들을 능가하는 성능을 보였으며, 특히 복잡한 추론을 요구하는 장기간 작업에서 뛰어난 성능을 보였고, 실제 로봇에 배포하여 장기간 작업에서 실제 적용 가능성을 입증했습니다.
