본 논문은 CLIP과 같은 이중 인코더 아키텍처가 두 종류의 입력을 공유 임베딩 공간에 매핑하고 그 유사성을 예측하는 방식을 분석합니다. 기존의 1차 특징 귀속 방법의 한계를 극복하기 위해, 이중 인코더의 예측에 대한 특징 상호작용의 귀속을 가능하게 하는 2차 방법을 제시합니다. CLIP 모델에 이 방법을 적용하여, 캡션의 부분과 이미지 영역 간의 세밀한 대응 관계를 학습하는 것을 보여줍니다. 이는 객체 일치뿐 아니라 불일치도 고려함을 의미합니다. 하지만 이러한 시각-언어적 기반 능력은 객체 클래스에 따라 크게 다르며, 도메인 외부 효과가 두드러지고, 개별 오류와 체계적인 실패 유형을 확인할 수 있음을 밝힙니다. 코드는 공개적으로 제공됩니다.
