본 논문은 시각적 자기회귀 모델에서 추론 시 이전에 생성된 표현을 저장하는 데 필요한 상당한 메모리 오버헤드 문제를 다룬다. 기존의 압축 기술에도 불구하고, KV-캐시 압축 문제가 명시적으로 정의되지 않았다는 점을 지적하며, 시각적 자기회귀 트랜스포머를 위한 KV-캐시 압축 문제를 공식적으로 정의하는 데 초점을 맞춘다. 주요 결과로, 어텐션 기반 아키텍처에서 순차적 시각 토큰 생성 메커니즘은 생성된 토큰 수($n$)와 임베딩 차원($d$)에 대해, $d = \Omega(\log n)$일 때 최소 $\Omega(n^2 d)$의 메모리를 사용해야 함을 증명한다. 이는 추가적인 구조적 제약 없이는 진정한 준2차 메모리 사용을 달성할 수 없음을 보여준다. 차원 축소 원리에서 영감을 받은 랜덤 임베딩 기법을 활용하여 계산 하한 문제로부터의 환원을 통해 증명을 구성한다. 마지막으로, 시각적 표현에 대한 스파스 사전 정보가 메모리 효율에 미치는 영향을 논의하고, 불가능성 결과와 메모리 오버헤드를 완화하기 위한 잠재적 방향을 제시한다.
