CORTEX는 이미지 쌍 간의 변화를 설명하는 것을 목표로 하는 새로운 프레임워크입니다. 기존 연구가 시각적 특징에만 의존하여 미묘하지만 중요한 변화를 포착하지 못하는 문제를 해결하기 위해, CORTEX는 객체 관계 및 구성적 의미론과 같은 명시적인 구조적 정보를 통합하기 위해 보완적인 텍스트 큐를 통합합니다. 픽셀 수준 차이점으로부터 큐를 캡처하는 것 외에도, CORTEX는 Vision Language Models (VLMs)에 의해 제공되는 장면 수준 텍스트 지식을 활용하여 기본 구성적 추론을 드러내는 풍부한 이미지 텍스트 신호를 추출합니다. CORTEX는 (i) 이미지 수준 변화 감지기, (ii) VLM을 사용하여 시각적 특징에서 내재된 구성적 추론 설명을 생성하는 추론 인식 텍스트 추출(RTE) 모듈, (iii) 미세한 관계적 추론을 위해 시각적 및 텍스트적 특징을 정렬하는 이미지-텍스트 이중 정렬(ITDA) 모듈의 세 가지 주요 모듈로 구성됩니다. 이를 통해 CORTEX는 시각적 및 텍스트적 특징에 대해 추론하고, 시각적 특징만으로는 모호한 변화를 포착할 수 있습니다.
