본 논문은 가정용 작업에서 언어 조건부 로봇 제어를 가능하게 하는 모바일 조작에 대해 다룬다. 기존 방법들은 모바일 베이스와 매니퓰레이터의 조정에 어려움을 겪는데, 이는 모바일 베이스의 영향을 명시적으로 모델링하지 못하고, 다양한 모달리티의 시각적 관찰 요구사항을 간과하기 때문이다. 이를 해결하기 위해, 본 논문에서는 모바일 베이스와 매니퓰레이터의 조정을 향상시키는 적응형 조정 확산 트랜스포머(AC-DiT)를 제안한다. AC-DiT는 모빌리티-투-바디 조건화 메커니즘을 통해 모바일 베이스의 움직임을 먼저 추출하고, 이를 전체 신체 행동 예측을 위한 문맥 정보로 사용하여 전체 신체 제어를 가능하게 한다. 또한, 지각 인식 다중 모달 조건화 전략을 통해 2D 이미지와 3D 포인트 클라우드 간의 융합 가중치를 동적으로 조정하여 현재 지각 요구에 맞는 시각적 특징을 생성한다. 시뮬레이션 및 실제 모바일 조작 작업을 통해 AC-DiT의 성능을 검증하였다.
시사점, 한계점
•
시사점:
◦
모바일 베이스와 매니퓰레이터 간의 조정 문제를 효과적으로 해결하는 새로운 접근 방식 제시
◦
모빌리티-투-바디 조건화 메커니즘을 통해 모바일 베이스의 영향을 고려한 전체 신체 제어 가능
