3D 핸드 포즈 추정 시 심각한 가림 현상을 해결하기 위해, Deformable Mamba (DF-Mamba)라는 시공간 모델링 기반의 효과적이고 효율적인 프레임워크를 제안합니다. DF-Mamba는 Mamba의 선택적 상태 모델링과 변형 가능한 상태 스캐닝을 통해 전역 컨텍스트를 캡처하여 기존 CNN의 한계를 극복합니다. 다양한 데이터셋에 대한 실험을 통해 최신 이미지 백본보다 우수한 성능을 입증했습니다.
시사점, 한계점
•
시사점:
◦
Mamba 기반의 DF-Mamba는 3D 핸드 포즈 추정에서 가림 현상 문제를 해결하기 위한 새로운 접근 방식을 제시합니다.
◦
전역 컨텍스트를 효과적으로 캡처하여 기존 방법보다 정확도를 향상시켰습니다.
◦
ResNet-50과 유사한 추론 속도를 유지하면서, VMamba 및 Spatial-Mamba를 포함한 최신 백본보다 뛰어난 성능을 보였습니다.
◦
단일 핸드, 두 핸드 시나리오, 핸드-객체 상호 작용 등 다양한 데이터셋에서 우수한 성능을 보였습니다.
