본 논문은 복잡한 장기 수명 조작 작업에서 텍스트 기반 논리적 추론과 시각-공간적 상상을 통합하여 효율적이고 정확한 작업을 수행하기 위한 혁신적인 다중 모달 통합 생성 프레임워크인 EVLP (Embodied Vision-Language Planner)를 제시한다. EVLP는 동적 사전 훈련과 강화 정렬을 포함하는 새로운 훈련 파이프라인을 통해 장기 수명 작업에 대한 다중 모달 계획을 달성한다. 핵심 혁신은 통합된 다중 모달 생성 프레임워크, 동적 지각 사전 훈련 및 강화된 지도 기반 미세 조정의 세 가지 구성 요소로 구성된다.
시사점, 한계점
•
시사점:
◦
텍스트 기반 추론과 시각적 생성을 결합한 통합된 다중 모달 생성 프레임워크를 제시하여 복잡한 조작 작업에 대한 효율적인 계획을 가능하게 한다.
◦
동적 사전 훈련 및 강화된 정렬을 통해 다중 모달 상관 관계를 강화하고 공간 인식 다중 모달 계획 능력을 향상시킨다.
