본 논문은 로봇 수술(RMIS)에서 수술 도구의 정확한 자세 추정을 위한 새로운 6 자유도(DoF) 자세 추정 파이프라인을 제시합니다. 기존 마커 기반 방법의 한계와 지도 학습 방식의 데이터 의존성을 극복하기 위해, FoundationPose와 SAM-6D와 같은 최첨단 제로샷 RGB-D 모델을 활용합니다. 반사 및 질감이 없는 환경에서 강력한 깊이 추정을 위해 RAFT-Stereo를 이용한 비전 기반 깊이 추정을 통합하고, SAM-6D의 인스턴스 분할 모듈을 미세 조정된 Mask R-CNN으로 대체하여 폐색 및 복잡한 조건에서의 분할 정확도를 크게 향상시켰습니다. 실험 결과, 향상된 SAM-6D가 FoundationPose보다 새로운 수술 도구에 대한 제로샷 자세 추정 성능이 우수함을 보여주며, RMIS에서 제로샷 RGB-D 자세 추정의 새로운 기준을 제시합니다. 본 연구는 보이지 않는 물체에 대한 자세 추정의 일반화 능력을 향상시키고, RMIS에 RGB-D 제로샷 방법을 적용한 선구적인 연구입니다.
