본 연구는 연관 기억 네트워크인 Memory Mosaics를 대규모 언어 모델 크기(llama-8B 규모)와 실제 데이터셋에 적용하여 확장성을 검증한다. 이를 위해 Memory Mosaics v2를 개발하고, 100억 개의 매개변수와 1조 개의 토큰으로 학습시켰다. 훈련된 Memory Mosaics v2는 훈련 지식 저장, 새로운 지식 저장, 그리고 문맥 내 학습 능력을 평가받았으며, 기존 트랜스포머 모델보다 우수한 성능을 보였다. 특히 새로운 작업 수행 능력에서 두드러진 개선을 보였고, 이는 트랜스포머의 학습 데이터 증가만으로는 달성하기 어려운 수준이었다.
