LEMMo-Plan: LLM-Enhanced Learning from Multi-Modal Demonstration for Planning Sequential Contact-Rich Manipulation Tasks
Created by
Haebom
저자
Kejia Chen, Zheng Shen, Yue Zhang, Lingyun Chen, Fan Wu, Zhenshan Bing, Sami Haddadin, Alois Knoll
개요
본 논문은 장기간 조작 작업의 작업 계획에 있어 대규모 언어 모델(LLM)의 인기를 고려하여, LLM이 생성한 계획의 유효성을 높이기 위해 시각적 데모와 온라인 비디오를 활용하는 기존 방식의 한계를 지적합니다. 미세한 움직임과 풍부한 접촉 상호작용이 필요한 조작 작업에서는 시각적 인식만으로는 LLM이 데모를 완전히 해석하기에 부족하며, 힘 관련 매개변수와 조건에 대한 정보가 제한적이라는 점을 문제점으로 제시합니다. 따라서 본 논문에서는 인간 데모의 촉각 및 힘-토크 정보를 통합하여 LLM의 새로운 작업 시나리오 계획 능력을 향상시키는 컨텍스트 학습 프레임워크를 제안합니다. 각 모달리티를 순차적으로 통합하는 부트스트랩 추론 파이프라인을 통해 포괄적인 작업 계획을 생성하고, 이를 새로운 작업 구성의 계획 참조로 사용하는 방법을 제시합니다. 두 가지 서로 다른 순차적 조작 작업에 대한 실제 실험을 통해 제안된 프레임워크의 효과를 검증합니다.