본 논문은 다중 모달(Vision-Language) 사전 학습 모델을 활용한 Out-of-Distribution Detection (OoDD) 방법에 대해 다룬다. 기존의 단일 모달 OoDD 연구와 달리, CLIP과 같은 다중 모달 모델의 zero-shot 및 prompt learning 전략을 활용하지만, 사전 학습된 가중치를 고정하거나 부분적으로만 미세 조정하는 기존 방법들의 한계를 지적한다. 본 논문에서는 다중 모달 미세 조정(MMFT)이 OoDD 성능 향상에 중요함을 강조하고, 단순 미세 조정 방법의 한계와 사전 학습된 지식을 완전히 활용하지 못하는 이유를 분석한다. 이러한 문제가 ID 데이터의 모달 간 차이(modality gap)에서 비롯될 수 있다는 점을 실험적으로 밝히고, ID 데이터의 이미지와 텍스트 임베딩 간 거리를 규제하여 교차 모달 정렬을 강화하는 새로운 학습 목표를 제안한다. 이는 초구면 표현 공간에서 서로 다른 모달리티(텍스트와 이미지)의 유사한 의미를 더욱 밀접하게 정렬하여 사전 학습된 텍스트 정보를 더 잘 활용하도록 돕는다. ImageNet-1k OoD 벤치마크 데이터셋을 사용한 실험 결과, 제안된 방법은 기존 방법들을 상당히 능가하는 최첨단 OoDD 성능과 높은 ID 정확도를 달성함을 보여준다.
