본 논문은 새로운 영역에 대한 테스트 시간 적응에서 어려움을 겪는 최신 비전-언어 모델(VLMs)의 문제점을 해결하기 위해, 다중 입자 크로스 모달 의미 캐싱 및 그래프 기반 질의 메커니즘을 통해 적응성을 향상시키는 강력한 테스트 시간 적응 프레임워크인 COSMIC(Clique-Oriented Semantic Multi-space Integration for CLIP)을 제안합니다. COSMIC은 이중 의미 그래프(DSG)와 클리크 유도 초클래스(CGH)라는 두 가지 핵심 혁신을 도입합니다. DSG는 텍스트 특징, 조악한 CLIP 특징, 그리고 미세한 DINOv2 특징을 통합하여 상호 보완적인 의미 공간을 구성하고 풍부한 의미 관계를 포착합니다. CGH는 이러한 이중 그래프를 기반으로 구조화된 클래스 관계를 활용하여 상관된 클래스 선택을 통해 예측의 강건성을 높입니다. 실험 결과, COSMIC은 여러 벤치마크에서 최첨단 방법보다 우수한 성능을 보이며, 분포 외 작업에서 15.81%, CLIP RN-50을 사용한 크로스 도메인 생성에서 5.33%의 성능 향상을 달성했습니다.
