Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Vanishing Depth: A Depth Adapter with Positional Depth Encoding for Generalized Image Encoders

Created by
  • Haebom
Category
Empty

저자

Paul Koch, Jorg Kruger, Ankit Chowdhury, Oliver Heimann

개요

본 논문에서는 기존 최첨단 비전 인코더가 지원하지 않는 일반화된 메트릭 깊이 이해를 해결하기 위해, 사전 훈련된 RGB 인코더에 메트릭 깊이를 통합하고 정렬하는 자기 지도 학습 방식인 Vanishing Depth를 제안합니다. 새로운 위치 깊이 인코딩을 기반으로 안정적인 깊이 밀도와 깊이 분포 불변 특징 추출을 가능하게 합니다. 인코더 미세 조정 없이 다양한 RGBD 하위 작업에서 성능 향상과 최고 성능을 달성합니다. SUN-RGBD 분할에서 56.05 mIoU, Void의 깊이 완성에서 88.3 RMSE, NYUv2 장면 분류에서 83.8 상위 1 정확도를 달성했으며, 6D 객체 자세 추정에서 DinoV2, EVA-02, Omnivore보다 뛰어난 성능을 보였습니다.

시사점, 한계점

시사점:
사전 훈련된 RGB 인코더에 메트릭 깊이 정보를 효과적으로 통합하는 새로운 자기 지도 학습 방법 제시.
인코더 미세 조정 없이 다양한 RGBD 하위 작업에서 최첨단 성능 달성.
안정적인 깊이 밀도와 깊이 분포 불변 특징 추출 가능.
6D 객체 자세 추정을 포함한 여러 RGBD 하위 작업에서 기존 방법들을 능가하는 성능.
한계점:
Vanishing Depth 방법의 일반화 성능에 대한 추가적인 실험 및 분석 필요.
다양한 데이터셋 및 작업에 대한 적용 가능성에 대한 추가적인 검증 필요.
제안된 방법의 계산 비용 및 효율성에 대한 자세한 분석 필요.
👍