M2R2: MultiModal Robotic Representation for Temporal Action Segmentation

Thu, 30 Apr 2026 07:24:43 GMT

### 저자

Daniel Sliwowski, Dongheui Lee

### 💡 개요

본 논문은 로봇의 숙련도 분할(Temporal Action Segmentation, TAS) 연구에서 발생하는 문제점, 즉 로봇공학에서 주로 사용하는 고유수용성 정보와 컴퓨터 비전에서 주로 사용하는 외수용성 정보의 통합 및 재사용의 어려움을 해결하기 위해 M2R2라는 새로운 다중 모달(multimodal) 특징 추출기를 제안합니다. M2R2는 고유수용성 및 외수용성 센서 정보를 결합하며, 학습된 특징을 여러 TAS 모델에서 재사용할 수 있는 새로운 훈련 전략을 도입합니다. 이를 통해 REASSEMBLE, (Im)PerfectPour, JIGSAWS 세 가지 로봇 데이터셋에서 최신 성능을 달성했습니다.

### 🔑 시사점 및 한계

- 로봇의 동작 분할 성능 향상을 위해 로봇의 자체 감각 정보(고유수용성)와 외부 관찰 정보(외수용성)를 효과적으로 융합하는 새로운 접근 방식을 제시했습니다.

- 제안된 훈련 전략은 개별적으로 학습된 특징 추출기들을 다른 TAS 모델에서도 재사용 가능하게 하여 모델 개발 효율성을 높일 수 있습니다.

- 다양한 센서 정보를 활용하는 로봇 TAS 작업에서 각 센서 모달리티의 기여도를 분석한 포괄적인 실험을 수행했습니다.

- 현재 모델은 3가지 로봇 데이터셋에 대해서만 성능 검증이 이루어졌으며, 더 다양한 로봇 환경과 작업에 대한 일반화 성능을 평가하는 추가 연구가 필요합니다.

[PDF 보기](https://arxiv.org/pdf/2504.18662)