Modality Selection and Skill Segmentation via Cross-Modality Attention
Created by
Haebom
저자
Jiawei Jiang, Kei Ota, Devesh K. Jha, Asako Kanezaki
개요
본 논문은 다중 감각 정보(촉각, 청각 등)를 활용한 로봇 모델링에서 차원의 저주 문제를 해결하기 위해 모달리티 선택 기법을 제안한다. 제안된 교차 모달리티 어텐션(CMA) 메커니즘은 각 시간 단계에서 행동 생성에 가장 유용한 모달리티를 선택적으로 활용한다. 또한, CMA를 활용하여 전문가 시연으로부터 기본 기술을 분할하고, 이를 바탕으로 장기간, 접촉이 많은 조작 작업을 수행할 수 있는 계층적 정책을 학습한다.