본 논문은 Transformer 기반 CLIP 모델의 예측 메커니즘을 이해하기 위해, Sparse Autoencoders (SAEs)를 활용하여 해석 가능한 잠재 요소를 분석하는 기존 연구의 한계를 극복하는 확장 가능한 프레임워크를 제시합니다. CLIP 모델의 잠재 요소가 어떤 역할을 하는지, 예상되는 의미와 얼마나 잘 정렬되는지, 그리고 예측에 얼마나 중요한지를 밝히는 것을 목표로 합니다. 이를 위해 instance-wise component attribution을 위한 attribution patching 기법을 CLIP에 적용하고, 널리 사용되는 Logit Lens 기법의 한계를 지적합니다. attribution과 의미 정렬 점수를 결합하여, 의미적으로 예상치 못한 또는 spurious 개념을 인코딩하는 잠재 요소에 대한 의존성을 자동으로 찾아냅니다. 다양한 CLIP 변형 모델에 적용하여, 다의어, 복합 명사, 시각적 타이포그래피, 데이터셋 아티팩트와 관련된 수많은 놀라운 잠재 요소들을 발견합니다. 텍스트 임베딩은 의미적 모호성에 취약하지만, 이미지 임베딩에 대해 훈련된 선형 분류기보다 spurious 상관관계에 더 강합니다. 피부 병변 검출 사례 연구를 통해, 이러한 분류기가 숨겨진 지름길을 증폭시킬 수 있음을 보여주며, 전체적인 메커니즘 해석의 필요성을 강조합니다.
