본 논문은 장기간에 걸친 물체 조작을 위한 새로운 로봇 제어 프레임워크를 제시합니다. 기존의 학습 기반 접근 방식이 대규모의 작업 특정 데이터셋에 의존하고 미지의 시나리오에 일반화하는 데 어려움을 겪는다는 점을 고려하여, 본 연구는 사전 훈련된 저수준 제어기를 사용하는 대신, 대규모 언어 모델(LLM)을 활용하여 직접 실행 가능한 코드 계획을 생성하는 폐쇄 루프 프레임워크를 제안합니다. LLM은 사고 과정(CoT) 안내를 받는 몇 번의 학습과 점진적으로 구조화된 예시를 통해 강력하고 일반화 가능한 작업 계획을 생성하며, RGB-D를 사용하는 보고기가 결과를 평가하고 구조화된 피드백을 제공하여 오류 수정 및 부분 관측 하에서의 재계획을 가능하게 합니다. 이를 통해 단계별 추론을 제거하고 계산 오버헤드를 줄이며 이전 방법에서 관찰된 오류 누적을 제한합니다. LoHoRavens, CALVIN, Franka Kitchen 및 어수선한 실제 환경에서 30개 이상의 다양한 이미 알려진 및 미지의 장기간 작업에서 최첨단 성능을 달성합니다.
시사점, 한계점
•
시사점:
◦
대규모 언어 모델을 이용하여 저수준 제어기 없이 직접 실행 가능한 코드를 생성함으로써, 장기간 물체 조작 문제에 대한 새로운 해결책을 제시합니다.
◦
사고 과정(CoT) 안내 및 점진적 구조화된 예시 학습을 통해 강건하고 일반화 가능한 작업 계획을 생성합니다.
◦
폐쇄 루프 프레임워크와 RGB-D 기반 피드백 시스템을 통해 오류 수정 및 재계획이 가능하며, 단계별 추론 및 오류 누적을 감소시킵니다.
◦
다양한 환경에서 30개 이상의 작업에 대한 최첨단 성능을 달성합니다.
•
한계점:
◦
LLM의 성능에 의존적이며, LLM의 한계가 시스템 성능에 직접적으로 영향을 미칠 수 있습니다.
◦
RGB-D 센서에 의존적인 부분이 있어, 센서의 성능 저하 또는 사용 불가능 시 시스템 작동에 문제가 발생할 수 있습니다.
