본 논문은 컴퓨터 비전에서 딥 뉴럴 네트워크, 특히 트랜스포머 기반 비전 모델(Detection Transformer 및 Vision Transformer)의 작동 원리를 이해하기 위한 연구이다. 기존 연구들이 주로 CNN의 중간 표현을 시각화하는 데 집중한 것과 달리, 본 연구는 역 모델을 훈련하여 중간층으로부터 입력 이미지를 재구성하는 모듈 방식을 제안한다. Detection Transformer와 Vision Transformer의 중간층으로부터 이미지를 재구성하여 정성적, 정량적 평가를 수행함으로써, 문맥적 형태, 이미지 디테일 보존, 층간 상관관계, 색상 변화에 대한 강건성 등의 측면에서 두 아키텍처의 유사점과 차이점을 분석하고, 이러한 특성들이 모델 내에서 어떻게 나타나는지 보여준다. 실험 코드는 github.com/wiskott-lab/inverse-tvm에서 공개된다.
