본 논문은 기존 연구에서 제한적인 맥락 크기로 인해 제약되었던 다중 헤드 어텐션의 암기 용량에 대한 새로운 증명을 제시한다. 언어 기반 트랜스포머에 대한 새로운 증명을 통해 어떠한 맥락 크기에도 적용 가능하도록 기존 가설을 확장한다. 어텐션 레이어를 이용한 효과적인 정확한 암기 성능을 개선하고, 분포의 근사적 암기를 도입한다. 실험을 통해 제안된 경계값이 언어 모델의 실제 암기 용량을 더 정확하게 반영하며, 기존 연구와의 정확한 비교를 제공함을 보여준다.
