본 논문은 어텐션 메커니즘의 계산 복잡도 문제를 해결하기 위해 새로운 순환 신경망(RNN) 메커니즘인 Lattice를 제안합니다. Lattice는 K-V 행렬의 저차원 구조를 활용하여 캐시를 고정된 수의 메모리 슬롯으로 효율적으로 압축함으로써, 아quadratic 복잡도를 달성합니다. 온라인 최적화 문제로 압축을 공식화하고, 단일 경사하강법 단계를 기반으로 동적 메모리 업데이트 규칙을 도출합니다. 결과적으로 상태 및 입력 의존적 게이팅 메커니즘을 특징으로 하는 순환 구조가 생성되며, 해석 가능한 메모리 업데이트 프로세스를 제공합니다. 핵심 혁신은 직교 업데이트로, 각 메모리 슬롯은 현재 상태에 직교하는 정보로만 업데이트되어 이전에 저장된 정보와의 간섭을 최소화합니다. 실험 결과, Lattice는 다양한 문맥 길이에 걸쳐 모든 기준 모델과 비교하여 최상의 perplexity를 달성하며, 문맥 길이가 증가함에 따라 성능 향상이 더욱 두드러집니다.
