본 논문은 트랜스포머 기반 컴퓨터 비전 모델의 잠재 토큰 표현을 해석하고 의미 있는 의미 패턴을 발견하기 위한 프레임워크인 ULTra를 제시합니다. ULTra는 사전 훈련된 모델을 사용하여 미세 조정 없이 비지도 의미론적 분할을 가능하게 합니다. 또한, 기저 모델을 수정하지 않고 외부 변환 행렬을 학습하여 분할 성능을 개선하는 자기 지도 학습 방식을 제안합니다. 제안된 방법은 비지도 의미론적 분할에서 최첨단 성능을 달성하며, 합성 및 실제 시나리오 모두에서 모델 해석을 검증합니다. 여기에는 객체 선택과 LLM을 사용한 해석 가능한 텍스트 요약이 포함되며, 잠재 토큰 표현의 의미 구조를 설명하는 광범위한 적용 가능성을 보여줍니다.
