본 논문은 웹 크롤링 데이터로 사전 훈련된 CLIP의 비전-언어 정렬이 하위 작업에 최적으로 학습되지 않은 경우에도 미세 조정 없이 하위 작업에 적용될 수 있음을 보여줍니다. 특히 단안 깊이 추정 작업에 초점을 맞춰, CLIP의 대조적 사전 지식이 생성 모델이나 의미 분할과 같은 영역에서의 성공과 달리 일반화하는 데 어려움을 겪는다는 점을 연구합니다. CLIP이 이미지 패치와 거리를 설명하는 자연어 프롬프트 간의 유사성을 일관되게 포착하지 못하는 문제를 해결하기 위해, 사전 훈련된 자연어 토큰 임베딩을 사용하지 않고 동결된 텍스트 인코더의 의미적 사전 지식을 "mirror"라는 단일 학습 가능한 임베딩 매트릭스로 증류합니다. mirror의 주요 설계 목표는 "카메라에서 이 위치까지 얼마나 떨어져 있습니까?"와 같은 최적의 자연어 프롬프트를 근사하는 비인간 언어 프롬프트를 도출하는 것입니다. 이 방법을 사용하여 동결된 CLIP 위에 두 개의 경량 모듈(mirror와 압축된 디코더)을 공동으로 훈련하여 밀집 깊이 예측을 수행합니다. 기존 깊이 모델과 비교하여 매개변수와 계산 측면에서 훨씬 효율적이며, NYU Depth v2 및 KITTI 벤치마크 데이터셋에서 여러 최첨단 비전 모델과 유사한 성능을 보이며, 동결된 CLIP 사전 지식을 기반으로 하는 모든 비전-언어 깊이 모델을 능가합니다. 실험 결과, 공간 및 시간적 일관성 측면에서 CLIP의 최적이 아닌 깊이 이해가 CLIP을 미세 조정하거나 mirror를 사전 훈련된 하위 단어 토큰 임베딩과 연결하지 않고도 상당히 수정될 수 있음을 보여줍니다. 또한 mirror의 수렴 상태에 대한 절제 연구를 통해 사람이나 창문과 같은 객체를 감지하는 데 의미적 단서가 중요한 역할을 하는 객체를 암묵적으로 학습함을 보여줍니다.
