본 논문은 예측 불가능한 장애물, 센서 오류 또는 환경 변화로 인한 로봇 시스템의 실행 실패 문제를 해결하기 위해 Vision-Language Model(VLM), 반응형 플래너, 그리고 Behavior Tree(BT)를 결합한 통합된 실패 복구 프레임워크를 제시합니다. 이 프레임워크는 실행 전에 잠재적인 실패를 검증하는 사전 실행 검증과, 실행 중 실패를 감지하고 BT 조건 검증, 누락된 전제 조건 추가, 필요시 새로운 기술 생성을 통해 실패를 수정하는 반응형 실패 처리를 포함합니다. 구조화된 환경 인식을 위한 시나리오 그래프와 지속적인 모니터링을 위한 실행 이력을 활용하여 상황 인식적이고 적응적인 실패 처리를 가능하게 합니다. ABB YuMi 로봇을 이용한 실제 환경 실험(peg insertion, object sorting, drawer placement)과 AI2-THOR 시뮬레이터를 통한 평가 결과, 사전 실행 및 반응형 방법을 개별적으로 사용하는 것보다 더 높은 작업 성공률과 적응성을 달성함을 보여줍니다. 추가적으로, VLM 기반 추론, 구조화된 장면 표현, 실행 이력 추적의 중요성을 강조하는 ablation study 결과를 제시합니다.
