본 논문은 긴 입력 시퀀스에 대한 트랜스포머의 계산 복잡도 문제를 해결하기 위해, 짧은 입력 시퀀스만 처리할 수 있는 작은 트랜스포머를 이용하여 긴 입력 시퀀스를 효율적으로 시뮬레이션하는 방법을 제시합니다. 긴 입력 길이 N을 갖는 트랜스포머는 입력 길이 M (M << N)을 갖는 작은 트랜스포머를 O((N/M)^2)개 사용하여 효율적으로 시뮬레이션될 수 있음을 증명하고, 최악의 경우 이보다 개선될 수 없음을 보입니다. 그러나 평균적인 입력 케이스, 슬라이딩 윈도우 마스킹, 어텐션 싱크와 같은 다양한 자연스러운 시나리오에서는 최적의 작은 트랜스포머 개수가 O(N/M)임을 증명합니다.
