본 논문은 가정 환경에서 관절형 물체를 효과적으로 조작하는 문제를 다룬다. 기존의 3D 비전 기반 조작 방법은 깊이 인식과 자세 탐지에 의존하지만, 투명한 뚜껑이나 반사되는 손잡이와 같이 깊이 인식이 불완전한 경우 어려움을 겪는다. 또한, 유연하고 적응력 있는 조작에 필요한 다양한 부분 기반 상호 작용을 고려하지 못한다. 이를 해결하기 위해, 본 논문은 광범위한 부분 중심 관절형 물체 조작 데이터셋을 제시한다. 이 데이터셋은 사실적인 재질 무작위화와 부분 지향적인 장면 수준의 실행 가능한 상호 작용 자세에 대한 상세한 주석을 포함한다. 제시된 데이터셋을 이용하여 최첨단 깊이 추정 및 상호 작용 자세 예측 방법들을 평가하고, 일반화된 관절형 물체 조작을 위한 새로운 모듈식 프레임워크를 제안한다. 실험 결과, 제안된 데이터셋과 프레임워크가 시뮬레이션 및 실제 환경 모두에서 깊이 인식 및 실행 가능한 상호 작용 자세 예측 성능을 크게 향상시킴을 보여준다.
