본 논문은 적대적 공격의 전달 가능성에 대한 근본적인 구분을 제안합니다. 이미지 분류기 간의 적대적 예제 전이와 언어 모델 간의 텍스트 탈옥 전이는 성공적으로 이루어지는 반면, 최근 연구에서는 비전-언어 모델(VLM) 간의 이미지 탈옥 전이가 성공적으로 이루어지지 않는다는 점에 주목합니다. 이 차이를 설명하기 위해, 저자들은 공격의 전달 가능성이 입력 데이터 공간에서의 공격에 한정되며, 모델 표현 공간에서의 공격은 기하학적 정렬 없이는 전달되지 않는다는 가설을 제시합니다. 이 가설은 수학적 증명, 표현 공간 공격, 데이터 공간 공격, VLM의 잠재 기하학적 구조 분석을 통해 뒷받침됩니다. 결론적으로 적대적 공격의 전달 가능성은 모든 공격에 내재된 속성이 아니라, 공유된 데이터 공간과 모델의 고유한 표현 공간이라는 작동 영역에 달려있음을 밝힙니다.
