본 논문은 로봇 조작 작업을 위한 제로샷 작업 계획자로서 대규모 언어 모델(LLM)의 놀라운 성능을 활용하면서, 기존의 오픈루프 방식의 LLM 기반 계획의 오류 발생 가능성과 취약성을 해결하기 위한 연구를 제시합니다. 불확실성 기반의 다중 모달 LLM(MLLM) 오류 검출기를 활용한 폐쇄 루프 LLM 기반 계획 프레임워크인 KnowLoop를 제안하며, MLLM의 불확실성을 정량화하기 위해 토큰 확률, 엔트로피, 자기 설명적 신뢰도 세 가지 지표를 평가합니다. 다양한 조작 작업을 포함하는 자체 수집 데이터셋과 LLM 기반 로봇 시스템을 통해 실험을 진행하여 토큰 확률과 엔트로피가 자기 설명적 신뢰도보다 더 반영도가 높음을 보였습니다. 불확실한 예측을 걸러내고 적극적으로 인간의 도움을 요청하는 적절한 임계값 설정을 통해 오류 감지 정확도를 향상시켜 폐쇄 루프 계획의 효율성과 작업 성공률을 높였습니다.
