자기회귀 트랜스포머에서 키-값(KV) 캐시는 추론 중 상당한 병목 현상을 야기하여 대규모 언어 모델(LLM)의 문맥 길이 성능을 제한합니다. 기존 연구는 표준 어텐션 메커니즘의 기본적인 공간 복잡도 한계를 분석했지만 [Haris and Onak, 2025], 본 연구는 텐서 어텐션 버전으로 공간 복잡도 한계 결과를 일반화합니다. 본 연구의 이론적 기여는 통신 복잡도로부터의 새로운 환원에 의존하며, $d = \Omega(\log n)$일 때 텐서 구조화된 어텐션 메커니즘에 대한 메모리 하한을 추론합니다. $d = o(\log n)$인 저차원 영역에서는 공간 복잡도의 이론적 경계도 분석합니다. 전반적으로 본 연구는 텐서 어텐션 메커니즘에서 압축-표현력 트레이드오프를 이해하기 위한 이론적 토대를 제공하며, 더욱 메모리 효율적인 트랜스포머 아키텍처를 개발하는 데 더 많은 관점을 제공합니다.
