TransDex: Pre-training Visuo-Tactile Policy with Point Cloud Reconstruction for Dexterous Manipulation of Transparent Objects
Author
- Haebom
Category
Empty
저자
Fengguan Li, Yifan Ma, Chen Qian, Wentao Rao, Weiwei Shang
💡 개요
투명한 물체를 조작할 때 발생하는 자기 가림, 심각한 깊이 잡음, 깊이 정보 손실 문제를 해결하기 위해, 본 논문은 점군 재구성 사전 학습을 기반으로 하는 3D 시각-촉각 융합 모터 정책인 TransDex를 제안합니다. 제안된 Transformer 기반 자기 지도 학습 점군 재구성 방법은 임의 노이즈와 대규모 마스킹 하에서도 손의 대화형 점군으로부터 물체의 3D 구조를 정확하게 복원합니다. 이를 바탕으로 TransDex는 세분화된 계층적 체계와 다중 라운드 주의 메커니즘을 채택하여 로봇 팔과 섬세한 손의 특징을 적응적으로 융합함으로써 차별화된 동작 예측을 가능하게 합니다.
🔑 시사점 및 한계
•
투명한 물체 조작의 어려움을 극복하기 위한 새로운 3D 시각-촉각 융합 정책인 TransDex를 제시합니다.
•
Transformer 기반의 점군 재구성 사전 학습 방법을 통해 잡음과 마스킹 환경에서도 정확한 3D 구조 복원 능력을 보여줍니다.
•
실제 로봇 시스템에서의 실험을 통해 기존 방법론 대비 우수한 성능과 뛰어난 일반화 능력을 입증했습니다.
•
제안된 방법론의 각 구성 요소의 효과를 개별적으로 분석하고 검증하여 TransDex의 설계 원리를 명확히 합니다.
