본 논문은 트랜스포머 모델의 입력 공간에서 등가 클래스를 탐색하는 일반적인 방법을 제시합니다. 제안된 접근 방식은 트랜스포머 아키텍처의 내부 레이어를 입력 매니폴드의 순차적인 변형으로 설명하는 수학적 이론에 기반합니다. 모델의 야코비안을 통해 출력 공간에 정의된 거리 메트릭의 당김의 고유값 분해를 사용하여 입력 공간에서 등가 클래스를 재구성하고 탐색할 수 있습니다. 본 방법은 두 가지 상호 보완적인 탐색 절차를 가능하게 합니다. 첫 번째는 원래 인스턴스와 동일한 클래스 확률 분포를 생성하는 입력 인스턴스를 검색하여 동일한 등가 클래스 내의 요소를 식별하고, 두 번째는 다른 클래스 확률 분포를 생성하는 인스턴스를 찾아 다른 등가 클래스로 효과적으로 이동합니다. 마지막으로, 검색된 인스턴스를 임베딩을 사람이 읽을 수 있는 형식으로 다시 투영하여 의미 있게 해석할 수 있음을 보여줍니다.
