본 논문은 대규모 언어 모델(LLM)의 추론 시 관련 문맥 지식을 제공하여 생성 품질을 향상시키는 방법을 제시한다. 기존에는 외부 지식 기반에서 검색된 정보성 텍스트 구절(문맥)을 입력에 추가하는 방식이 사용되었으나, 이는 문맥 길이에 비례하는 상당한 계산 비용을 초래한다. 본 논문에서는 상태 공간 모델(SSM)을 활용하여 문맥 데이터베이스를 고정 차원의 상태로 매핑하고, 이를 통해 생성을 시작하는 방식을 제안한다. 여러 문맥의 정보를 활용하는 과정에서, 기존 SSM에서는 여러 독립적인 상태를 조건으로 생성하는 직접적인 방법이 없다는 한계를 해결하기 위해, SSM 동역학에서 유도된 간단한 수학적 관계를 이용하여 여러 상태를 하나의 상태로 합성하는 알고리즘을 제안한다. 문맥의 시간적 순서는 정보가 되지 않는 경우가 많으므로, 모든 가능한 문맥 순서에 대해 상태 평균을 구함으로써 순열 불변성을 보장한다. WikiText와 MSMARCO 데이터셋에서 제로샷 및 미세 조정 설정 모두에서 평가한 결과, 최고 성능의 기준 모델과 동등한 성능을 달성하면서 평균 5.4배의 속도 향상을 보였다.
