본 논문은 잡기 어려운 환경에서 다중 손가락을 이용한 물체 파지 기술을 향상시키는 방법을 제시합니다. 복잡한 환경에서 접촉 정보를 이용한 파지 기술은 아직 미개척 분야인데, 이 논문에서는 접촉 의미론적 지도(contact semantic map)를 통해 복잡한 환경에서 다중 손가락 파지 샘플을 생성하는 방법을 개발했습니다. 객체 점 구름으로부터 포괄적인 접촉 의미론적 지도를 생성하기 위해 접촉 의미론적 조건부 변분 오토인코더 네트워크(CoSe-CVAE)를 도입하고, 파지 감지 방법을 이용하여 접촉 의미론적 지도에서 손 파지 자세를 추정합니다. 마지막으로, 통합된 파지 평가 모델 PointNetGPD++를 설계하여 복잡한 환경에서 최적의 파지를 식별하는 신뢰성을 크게 향상시켰습니다. 실제 단일 물체 환경에서 최첨단 방법보다 최소 4.65% 향상된 81.0%의 평균 파지 성공률을 달성했고, 복잡한 환경에서도 75.3%의 파지 성공률을 기록했습니다. 또한 다중 모드 다중 손가락 파지 데이터셋 생성 방법을 제시하여, 장면 다양성과 모드 다양성 측면에서 기존 데이터셋보다 우수한 데이터셋을 만들었습니다. 데이터셋, 코드 및 보충 자료는 https://sites.google.com/view/contact-dexnet 에서 확인할 수 있습니다.
