Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

LEMMo-Plan: LLM-Enhanced Learning from Multi-Modal Demonstration for Planning Sequential Contact-Rich Manipulation Tasks

Created by
  • Haebom

저자

Kejia Chen, Zheng Shen, Yue Zhang, Lingyun Chen, Fan Wu, Zhenshan Bing, Sami Haddadin, Alois Knoll

개요

본 논문은 장기간 조작 작업의 작업 계획에 있어 대규모 언어 모델(LLM)의 인기를 고려하여, LLM이 생성한 계획의 유효성을 높이기 위해 시각적 데모와 온라인 비디오를 활용하는 기존 방식의 한계를 지적합니다. 미세한 움직임과 풍부한 접촉 상호작용이 필요한 조작 작업에서는 시각적 인식만으로는 LLM이 데모를 완전히 해석하기에 부족하며, 힘 관련 매개변수와 조건에 대한 정보가 제한적이라는 점을 문제점으로 제시합니다. 따라서 본 논문에서는 인간 데모의 촉각 및 힘-토크 정보를 통합하여 LLM의 새로운 작업 시나리오 계획 능력을 향상시키는 컨텍스트 학습 프레임워크를 제안합니다. 각 모달리티를 순차적으로 통합하는 부트스트랩 추론 파이프라인을 통해 포괄적인 작업 계획을 생성하고, 이를 새로운 작업 구성의 계획 참조로 사용하는 방법을 제시합니다. 두 가지 서로 다른 순차적 조작 작업에 대한 실제 실험을 통해 제안된 프레임워크의 효과를 검증합니다.

시사점, 한계점

시사점:
촉각 및 힘-토크 정보를 활용하여 LLM의 작업 계획 성능 향상 가능성을 보여줌.
다중 모달리티 데모를 효과적으로 활용하는 부트스트랩 추론 파이프라인 제시.
실제 로봇 환경에서의 실험을 통해 프레임워크의 실효성 검증.
한계점:
제안된 프레임워크의 일반성 및 다양한 작업 유형에 대한 적용성 추가 연구 필요.
데이터 수집 및 전처리 과정의 복잡성 및 효율성 개선 필요.
다양한 센서 데이터 통합 및 노이즈 처리에 대한 추가적인 연구 필요.
👍